(57)【要約】  本開示は概して、シミュレートされた画像効果を調整するユーザインタフェースに関する。いくつかの実施形態では、シミュレートされた深度効果を調整するためのユーザインタフェースが記載される。いくつかの実施形態では、シミュレートされた深度効果への調整を表示するためのユーザインタフェースが記載される。いくつかの実施形態では、シミュレートされた画像効果を調整する干渉を示すためのユーザインタフェースが記載される。
2021536059.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイ及び１つ以上の入力デバイスを有する電子デバイスにおいて、
前記ディスプレイ上に画像データの表現を表示することと、
シミュレートされた深度効果に関する複数の選択可能値のうち第１の値によって修正された、前記シミュレートされた深度効果を有する画像データの前記表現を表示する間に、前記１つ以上の入力デバイスを介して、第１の入力を検出することと、
前記第１の入力を検出したことに応じて、画像データの前記表現を操作することに関連付けられた調整可能スライダを前記ディスプレイ上に表示することであって、前記調整可能スライダは、
前記シミュレートされた深度効果に関する前記複数の選択可能値に対応する複数のオプションインジケータと、
前記第１の値が現在選択されたシミュレートされた深度効果値であることを示す選択インジケータと、
前記調整可能スライダを表示している間に、前記１つ以上の入力デバイスを介して、前記調整可能スライダへの入力を検出することと、
前記調整可能スライダへの前記入力を検出したことに応じて、
前記シミュレートされた深度効果に関する前記複数の選択可能値のうちの第２の値が前記現在選択されたシミュレートされた深度効果値であることを示すように前記調整可能スライダを移動させることと、
前記第２の値によって修正された前記シミュレートされた深度効果に従って、画像データの前記表現の外観を変更することと、
を含む、方法。
【請求項２】
画像データの前記表現を前記ディスプレイ上に表示している間に、シミュレートされた深度効果調整アフォーダンスを前記ディスプレイ上に表示することであって、前記第１の入力が、前記シミュレートされた深度効果調整アフォーダンスのアクティブ化であること
を更に含む、請求項１に記載の方法。
【請求項３】
前記第１の入力を検出する前に、前記シミュレートされた深度効果調整アフォーダンスは、第１の視覚特性で表示され、
前記第１の入力を検出した後、前記シミュレートされた深度効果調整アフォーダンスは、前記第１の視覚特性とは異なる第２の視覚特性で表示される、
請求項２に記載の方法。
【請求項４】
前記シミュレートされた深度効果調整アフォーダンスを表示することは、
前記現在選択された深度効果値がデフォルトの深度効果値に対応するとの判定に従って、前記シミュレートされた深度効果調整アフォーダンス内に、前記現在選択された深度効果値を表示することを見合わせることと、
前記現在選択された深度効果値がデフォルトではない深度効果値に対応するとの判定に従って、前記シミュレートされた深度効果調整アフォーダンス内に、前記現在選択された深度効果値を表示することと、
を含む、請求項２から３のいずれか一項に記載の方法。
【請求項５】
前記第１の入力は、前記ユーザインタフェースの第１の部分における第１の方向のスワイプジェスチャである、請求項１に記載の方法。
【請求項６】
前記第１の入力を検出したことに応じて、前記ディスプレイ上の画像データの前記表現をスライドさせて前記調整可能スライダを表示すること、
を更に含む、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記第１の入力を検出する前に、１つ以上のモードセレクタアフォーダンスを前記ディスプレイ上に表示することであって、前記調整可能スライダを表示することは、前記１つ以上のモードセレクタアフォーダンスの表示を前記調整可能スライダと置き換えること、
を更に含む、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記第１の入力を検出する前に、ズーム制御要素を前記ディスプレイ上に表示することであって、前記調整可能スライダを表示することは、前記ズーム制御要素の表示を置き換えること、
を更に含む、請求項１から６のいずれか一項に記載の方法。
【請求項９】
前記調整可能スライダへの前記入力は、前記調整可能スライダ上のスワイプジェスチャであり、前記スワイプジェスチャは、前記スワイプジェスチャの終了時に少なくとも第１の速度を有する第１の方向へのユーザの動きを含む、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記調整可能スライダを移動させることは、前記選択インジケータが固定されたままである間に前記複数のオプションインジケータを移動させることを含む、請求項１から９のいずれか一項に記載の方法。
【請求項１１】
前記調整可能スライダを移動させることは、前記複数のオプションインジケータが固定されたままである間に前記選択インジケータを移動させることを含む、請求項１から９のいずれか一項に記載の方法。
【請求項１２】
前記調整可能スライダを移動させている間に、前記調整可能スライダによって制御されるパラメータに対して異なる値が選択されると、前記調整可能スライダの前記移動と同期して第１のタイプの出力を生成すること、
を更に含む、請求項１から１１のいずれか一項に記載の方法。
【請求項１３】
前記調整可能スライダを移動させる間に、
画像データの前記表現が記憶された画像データに対応するとの判定に従って、前記第１のタイプの出力はオーディオ出力を含み、
画像データの前記表現が前記１つ以上のカメラによってキャプチャされている画像データのライブプレビューに対応するとの判定に従って、前記第１のタイプの出力はオーディオ出力を含まない、請求項１２に記載の方法。
【請求項１４】
画像データの前記表現を前記ディスプレイ上に表示することは、
画像データの前記表現が記憶された画像データに対応するとの判定に従って、前記シミュレートされた深度効果に関する以前の第１の値によって事前に修正された以前のシミュレートされた深度効果を有する画像データの前記表現を表示すること、
を更に含む、請求項１から１３のいずれか一項に記載の方法。
【請求項１５】
ディスプレイ及び１つ以上の入力デバイスを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、請求項１から１４のいずれか一項に記載の方法を実行する命令を含む、コンピュータ可読記憶媒体。
【請求項１６】
ディスプレイと、
１つ以上の入力デバイスと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、前記１つ以上のプログラムは、請求項１から１４のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。
【請求項１７】
ディスプレイと、
１つ以上の入力デバイスと、
請求項１から１４のいずれか一項に記載の方法を実行する手段と、
を備える、電子デバイス。
【請求項１８】
ディスプレイ及び１つ以上の入力デバイスを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
画像データの表現を前記ディスプレイ上に表示し、
シミュレートされた深度効果に関する複数の選択可能値のうち第１の値によって修正された、前記シミュレートされた深度効果を有する画像データの前記表現を表示している間に、前記１つ以上の入力デバイスを介して第１の入力を検出し、
前記第１の入力を検出したことに応じて、画像データの前記表現を操作することに関連付けられた調整可能スライダを前記ディスプレイ上に表示し、前記調整可能スライダは、
前記シミュレートされた深度効果に関する前記複数の選択可能値に対応する複数のオプションインジケータと、
前記第１の値が現在選択されたシミュレートされた深度効果値であることを示す選択インジケータと、
を含み、
前記調整可能スライダを表示している間に、前記１つ以上の入力デバイスを介して、前記調整可能スライダへの入力を検出し、
前記調整可能スライダへの前記入力を検出したことに応じて、
前記シミュレートされた深度効果に関する前記複数の選択可能値のうちの第２の値が、前記現在選択されたシミュレートされた深度効果値であることを示すように前記調整可能スライダを移動させ、
前記第２の値によって修正された前記シミュレートされた深度効果に従って、画像データの前記表現の外観を変更する、
命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項１９】
ディスプレイと、
１つ以上の入力デバイスと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える電子デバイスであって、前記１つ以上のプログラムは、
画像データの表現を前記ディスプレイ上に表示し、
シミュレートされた深度効果に関する複数の選択可能値のうち第１の値によって修正された、前記シミュレートされた深度効果を有する画像データの前記表現を表示している間に、前記１つ以上の入力デバイスを介して第１の入力を検出し、
前記第１の入力を検出したことに応じて、画像データの前記表現を操作することに関連付けられた調整可能スライダを前記ディスプレイ上に表示し、前記調整可能スライダは、
前記シミュレートされた深度効果に関する前記複数の選択可能値に対応する複数のオプションインジケータと、
前記第１の値が現在選択されたシミュレートされた深度効果値であることを示す選択インジケータと、
を含み、
前記調整可能スライダを表示している間に、前記１つ以上の入力デバイスを介して、前記調整可能スライダへの入力を検出し、
前記調整可能スライダへの前記入力を検出したことに応じて、
前記シミュレートされた深度効果に関する前記複数の選択可能値のうちの第２の値が、前記現在選択されたシミュレートされた深度効果値であることを示すように前記調整可能スライダを移動させ、
前記第２の値によって修正された前記シミュレートされた深度効果に従って、画像データの前記表現の外観を変更する、
命令を含む、電子デバイス。
【請求項２０】
ディスプレイと、
１つ以上の入力デバイスと、
を備える、電子デバイスであって、
画像データの表現を前記ディスプレイ上に表示する手段と、
シミュレートされた深度効果に関する複数の選択可能値のうち第１の値によって修正された、前記シミュレートされた深度効果を有する画像データの前記表現を表示している間に、前記１つ以上の入力デバイスを介して第１の入力を検出する手段と、
前記第１の入力を検出したことに応じて、画像データの前記表現を操作することに関連付けられた調整可能スライダを前記ディスプレイ上に表示する手段であって、前記調整可能スライダは、
前記シミュレートされた深度効果に関する前記複数の選択可能値に対応する複数のオプションインジケータと、
前記第１の値が現在選択されたシミュレートされた深度効果値であることを示す選択インジケータと、
を含むようにする手段と、
前記調整可能スライダを表示している間に、前記１つ以上の入力デバイスを介して、前記調整可能スライダへの入力を検出する手段と、
前記調整可能スライダへの前記入力を検出したことに応じて、
前記シミュレートされた深度効果に関する前記複数の選択可能値のうち第２の値が、前記現在選択されたシミュレートされた深度効果値であることを示すように前記調整可能スライダを移動させ、
前記第２の値によって修正された前記シミュレートされた深度効果に従って、画像データの前記表現の外観を変更する手段と、
を含む、電子デバイス。
【請求項２１】
ディスプレイ及び１つ以上の入力デバイスを有する電子デバイスにおいて、
前記１つ以上の入力デバイスを介して、シミュレートされた深度効果を画像データの表現に適用する要求を受信することであって、画像データの前記表現内の被写体についての深度データが利用可能であるようにすることと、
前記シミュレートされた深度効果を画像データの前記表現に適用する前記要求を受信したことに応じて、前記シミュレートされた深度効果を有する画像データの前記表現を前記ディスプレイ上に表示することであって、
第１の方式で第１の深度を有する画像データの前記表現の第１の部分を歪ませることであって、前記第１の方法は、画像データの前記表現の既定部分からの前記第１の部分の距離に基づいて決定される、ことと、
前記第１の方式とは異なる第２の方式で前記第１の深度を有する画像データの前記表現の第２の部分を歪ませることであって、前記第２の方法は、画像データの前記表現の前記既定部分からの前記第２の部分の距離に基づいて決定される、ことと、
を含むようにすることと、
を含む、方法。
【請求項２２】
前記シミュレートされた深度効果を有する画像データの前記表現を前記ディスプレイ上に表示することは、
前記第１の部分と前記既定部分からの距離が同じであり、前記第１の方式における前記第１の深度とは異なる第２の深度を有する画像データの前記表現の第３の部分を前記第２の深度に基づいて決定された大きさで歪ませることと、
前記第２の部分と前記既定部分からの距離が同じであり、前記第２の方式における前記第２の深度を有する画像データの前記表現の第４の部分を、前記第２の深度に基づいて決定された大きさで歪ませることと、
を更に含む、請求項２１に記載の方法。
【請求項２３】
前記シミュレートされた深度効果を有する画像データの前記表現を前記ディスプレイ上に表示することは、
前記第１の部分と前記既定部分からの距離が同じであり、前記第１の方式で、前記第１の深度を有する画像データの前記表現の１つ以上の部分を歪ませること、
を更に含む、請求項２１から２２のいずれか一項に記載の方法。
【請求項２４】
前記第１の方式で画像データの前記表現の前記第１の部分を歪ませることは、第１の歪み形状に基づいて前記第１の部分を歪ませることを含み、
前記第２の方式で画像データの前記表現の前記第２の部分を歪ませることは、前記第１の歪み形状とは異なる第２の歪み形状に基づいて、前記第２の部分を歪ませることを含む、
請求項２１から２３のいずれか一項に記載の方法。
【請求項２５】
前記第１の方式で画像データの前記表現の前記第１の部分を歪ませることは、前記第１の部分を第１の歪みの程度で歪ませることを含み、
前記第２の方式で画像データの前記表現の前記第２の部分を歪ませることは、前記第２の部分を、前記第１の歪みの程度よりも大きい第２の歪みの程度で歪ませることを含み、前記第２の部分は、前記第１の部分よりも前記既定部分からの距離が大きい、
請求項２１から２４のいずれか一項に記載の方法。
【請求項２６】
前記１つ以上の入力デバイスを介して、前記シミュレートされた深度効果を画像データの前記表現に適用する前記要求を受信することは、
前記１つ以上の入力デバイスを介して画像歪みパラメータの値を選択する１つ以上の入力を検出することを含み、画像データの前記表現を歪ませることは、画像歪みパラメータの値を選択する１つ以上のユーザ入力に基づく、請求項２１から２５のいずれか一項に記載の方法。
【請求項２７】
前記画像歪みパラメータに対して異なる値を選択することにより、前記画像データの前記表現の前記第１の部分への第１の変化を生じさせ、前記画像データの前記表現の前記第２の部分に第２の変化を生じさせ、前記第１の変化は前記第２の変化と異なり、前記第１の変化及び前記第２の変化はいずれも同じタイプの変化を含む、請求項２６に記載の方法。
【請求項２８】
前記第１の方式で前記第１の部分を歪ませることは、前記第１の部分を第１の大きさでぼかすことを含み、
前記第２の方式で前記第２の部分を歪ませることは、前記第２の部分を第２の大きさでぼかすことを含み、
前記既定部分からの前記第１の部分の距離は前記既定部分からの前記第２の距離 よりも大きいとの判定に従って、前記第１の大きさは前記第２の大きさよりも大きく、
前記既定部分から前記第２の部分の距離が前記既定部分から前記第１の部分の距離よりも大きいとの判定に従って、前記第２の大きさは前記第１の大きさよりも大きい、
請求項２１から２７のいずれか一項に記載の方法。
【請求項２９】
前記シミュレートされた深度効果を画像データの前記表現に適用する前記要求を受信する前に、画像データの前記表現を前記ディスプレイ上に表示することと、
画像データの前記表現を表示している間に、前記画像データを使用して、画像データの前記表現内の前記被写体の存在を検出することと、
を更に含む、請求項２１から２８のいずれか一項に記載の方法。
【請求項３０】
前記シミュレートされた深度効果を有する画像データの前記表現を前記ディスプレイ上に表示することは、
前記被写体に対応する画像データの前記表現の一部分を歪ませることなく、前記画像の前記第１の部分及び前記画像の前記第２の部分を歪ませること、
を更に含む、請求項２１から２９のいずれか一項に記載の方法。
【請求項３１】
画像データの前記表現の前記第１の部分を歪ませることは、前記第１の部分が前記被写体に対応しないとの判定に従って、前記第１の部分を歪ませることを含み、
画像データの前記表現の前記第２の部分を歪ませることは、前記第２の部分が前記被写体に対応しないという判定に従って、前記第２の部分を歪ませることを含む、
請求項２１から３０のいずれか一項に記載の方法。
【請求項３２】
前記シミュレートされた深度効果を画像データの前記表現に適用する前記要求を受信したことに応じて、前記画像データに基づいて、発光オブジェクトに関連付けられた画像データの前記表現内の１つ以上のオブジェクトを識別すること、
を更に含む、請求項２１から３１のいずれか一項に記載の方法。
【請求項３３】
前記シミュレートされた深度効果を有する画像データの前記表現を前記ディスプレイ上に表示することは、発光オブジェクトに関連付けられていない画像データの前記表現の１つ以上の部分に対して、第３の方式で、発光オブジェクトに関連付けられた画像データの前記表現の１つ以上の部分の外観を変更すること、
を更に含む、請求項３２に記載の方法。
【請求項３４】
前記第３の方式で、発光オブジェクトに関連付けられた画像データの前記表現内のオブジェクトの前記外観を変更することは、
発光オブジェクトに関連付けられていない画像データの前記表現の他の部分に対して、発光オブジェクトに関連付けられた画像データの前記表現の前記１つ以上の部分の輝度を増大させることと、
発光オブジェクトに関連付けられていない画像データの前記表現の他の部分に対して、発光オブジェクトに関連付けられた画像データの前記表現の前記１つ以上の部分の彩度を増大させることと、
発光オブジェクトに関連付けられていない画像データの前記表現の他の部分に対して、発光オブジェクトに関連付けられた画像データの前記表現の前記１つ以上の部分のサイズを増大させることと、
のうち１つ以上を含む、請求項３３に記載の方法。
【請求項３５】
前記１つ以上の入力デバイスを介して、画像歪みパラメータの値を変化させる１つ以上の入力を検出することであって、画像データの前記表現を歪ませることは、画像歪みパラメータの値を選択する１つ以上のユーザ入力に基づくようにすることと、
前記画像歪みパラメータの前記値を変更する前記１つ以上の入力を検出したことに応じて、発光オブジェクトに関連付けられていない画像データの前記表現の他の部分に対して、発光オブジェクトに関連付けられた画像データの前記表現の１つ以上の部分の前記外観の変化の大きさを変更することと、
を含む、請求項３３に記載の方法。
【請求項３６】
ディスプレイ及び１つ以上の入力デバイスを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、請求項２１から３５のいずれか一項に記載の方法を実行する命令を含む、コンピュータ可読記憶媒体。
【請求項３７】
ディスプレイと、
１つ以上の入力デバイスと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える電子デバイスであって、前記１つ以上のプログラムは請求項２１から３５のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。
【請求項３８】
ディスプレイと、
１つ以上の入力デバイスと、
請求項２１から３５のいずれか一項に記載の方法を実行する手段と、
を備える、電子デバイス。
【請求項３９】
ディスプレイ及び１つ以上の入力デバイスを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
前記１つ以上の入力デバイスを介して、シミュレートされた深度効果を画像データの表現に適用する要求を受信し、画像データの前記表現内の被写体についての深度データが利用可能であり、
前記シミュレートされた深度効果を画像データの前記表現に適用する前記要求を受信したことに応じて、前記シミュレートされた深度効果を有する画像データの前記表現を前記ディスプレイ上に表示し、
第１の方式で第１の深度を有する画像データの前記表現の第１の部分を歪ませることであって、前記第１の方法は、画像データの前記表現の既定部分からの前記第１の部分の距離に基づいて決定される、ことと、
前記第１の方式とは異なる第２の方式で前記第１の深度を有する画像データの前記表現の第２の部分を歪ませることであって、前記第２の方法は、画像データの前記表現の前記既定部分からの前記第２の部分の距離に基づいて決定される、ことと、
を含む、
命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項４０】
ディスプレイと、
１つ以上の入力デバイスと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備える電子デバイスであって、前記１つ以上のプログラムは、
前記１つ以上の入力デバイスを介して、シミュレートされた深度効果を画像データの表現に適用する要求を受信し、画像データの前記表現内の被写体についての深度データが利用可能であり、
前記シミュレートされた深度効果を画像データの前記表現に適用する前記要求を受信したことに応じて、前記シミュレートされた深度効果を有する画像データの前記表現を前記ディスプレイ上に表示し、
第１の方式で第１の深度を有する画像データの前記表現の第１の部分を歪ませることであって、前記第１の方法は、画像データの前記表現の既定部分からの前記第１の部分の距離に基づいて決定される、ことと、
前記第１の方式とは異なる第２の方式で前記第１の深度を有する画像データの前記表現の第２の部分を歪ませることであって、前記第２の方法は、画像データの前記表現の前記既定部分からの前記第２の部分の距離に基づいて決定される、ことと、
を含む、
命令を含む、電子デバイス。
【請求項４１】
ディスプレイと、
１つ以上の入力デバイスと、
を備える、電子デバイスであって、
前記１つ以上の入力デバイスを介して、シミュレートされた深度効果を画像データの表現に適用する手段であって、画像データの前記表現内の被写体についての深度データが利用可能であり、
前記シミュレートされた深度効果を画像データの前記表現に適用する前記要求を受信したことに応じて、前記ディスプレイ上に、前記シミュレートされた深度効果を有する画像データの前記表現を表示するための手段であって、
第１の方式で第１の深度を有する画像データの前記表現の第１の部分を歪ませることであって、前記第１の方法は、画像データの前記表現の既定部分からの前記第１の部分の距離に基づいて決定される、ことと、
前記第１の方式とは異なる第２の方式で前記第１の深度を有する画像データの前記表現の第２の部分を歪ませることであって、前記第２の方法は、画像データの前記表現の前記既定部分からの前記第２の部分の距離に基づいて決定される、ことと、
を含む、手段と、
を含む、電子デバイス。
【請求項４２】
ディスプレイ及び１つ以上のカメラを含む１つ以上のセンサを有する電子デバイスにおいて、
カメラアプリケーションのユーザインタフェースを前記ディスプレイ上に表示している間に、前記１つ以上のセンサを介して、前記１つ以上のカメラのそれぞれの機能の動作を害する外部干渉を検出することと、
前記電子デバイスに対する前記外部干渉を検出したことに応じて、
第１の基準が満たされているという判定に従って、前記１つ以上のカメラの前記それぞれの機能に対する前記外部干渉の影響を低減するように前記１つ以上のカメラの動作モードが変更されたことを示す通知を前記ディスプレイ上に表示することと、
前記第１の基準が満たされていないという判定に従って、前記１つ以上のカメラの前記動作モードが変更されたことを示す前記通知を前記ディスプレイ上に表示することを見合わせることと、
を含む、方法。
【請求項４３】
前記第１の基準は、前記電子デバイスにより前記外部干渉の第１の所定量の発生が検出されたときに 満たされる要件を含む、請求項４２に記載の方法。
【請求項４４】
前記第１の所定回数は、前記通知が以前に前記電子デバイス上に表示された回数に依存する、請求項４３に記載の方法。
【請求項４５】
前記通知を前記ディスプレイに表示することは、第２の所定回数未満しか前記通知が以前に前記電子デバイス上に表示されていないという判定に従って前記通知を表示することを含む、請求項４２から４４のいずれか一項に記載の方法。
【請求項４６】
前記１つ以上のカメラの前記それぞれの機能に対する前記外部干渉の前記影響を低減するための、前記１つ以上のカメラの前記動作モードへの前記変更は、前記１つ以上のカメラの１つ以上の機能の応答性を低減することを含み、前記１つ以上の機能は、前記外部干渉が前記電子デバイスによって検出されている間、確実に実行することができない機能に前記１つ以上のカメラによって対応する、請求項４２から４５のいずれか一項に記載の方法。
【請求項４７】
前記１つ以上のカメラの前記それぞれの機能の前記前記動作を害する外部干渉を検出することは、前記電子デバイス上に前記カメラアプリケーション用のユーザインタフェースを表示する際に、前記外部干渉を検出することを含む、請求項４２から４６のいずれか一項に記載の方法。
【請求項４８】
前記それぞれの機能は、前記電子デバイスの前記１つ以上のカメラのフォーカス機能である、請求項４２から４７いずれか一項に記載の方法。
【請求項４９】
前記干渉は磁気干渉である、請求項４２から４８のいずれか一項に記載の方法。
【請求項５０】
前記干渉は、前記電子デバイスのアクセサリからのものである、請求項４２から４９のいずれか一項に記載の方法。
【請求項５１】
ディスプレイ及び１つ以上のカメラを含む１つ以上のセンサデバイスを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、請求項４２から５０のいずれか一項に記載の方法を実行する命令を含む、コンピュータ可読記憶媒体。
【請求項５２】
ディスプレイと、
１つ以上のカメラを含む１つ以上のセンサと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、前記１つ以上のプログラムは、請求項４２から５０のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。
【請求項５３】
ディスプレイと、
１つ以上のカメラを含む１つ以上のセンサと、
請求項４２から５０のいずれか一項に記載の方法を実行する手段と、
を備える、電子デバイス。
【請求項５４】
ディスプレイ及び１つ以上のカメラを含む１つ以上のセンサを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
カメラアプリケーションのユーザインタフェースを前記ディスプレイ上に表示している間に、前記１つ以上のセンサを介して、前記１つ以上のカメラのそれぞれの機能の動作を害する外部干渉を検出し、
前記電子デバイスに対する前記外部干渉を検出したことに応じて、
第１の基準が満たされているという判定に従って、前記１つ以上のカメラの前記それぞれの機能に対する前記外部干渉の影響を低減するように前記１つ以上のカメラの動作モードが変更されたことを示す通知を前記ディスプレイ上に表示し、
前記第１の基準が満たされていないという判定に従って、前記１つ以上のカメラの前記動作モードが変更されたことを示す前記通知を前記ディスプレイ上に表示することを見合わせる、
命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項５５】
ディスプレイと、
１つ以上のカメラを含む１つ以上のセンサと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備える電子デバイスであって、前記１つ以上のプログラムは、
カメラアプリケーションのユーザインタフェースを前記ディスプレイ上に表示している間に、前記１つ以上のセンサを介して、前記１つ以上のカメラのそれぞれの機能の動作を害する外部干渉を検出し、
前記電子デバイスに対する前記外部干渉を検出したことに応じて、
第１の基準が満たされているという判定に従って、前記１つ以上のカメラの前記それぞれの機能に対する前記外部干渉の影響を低減するように前記１つ以上のカメラの動作モードが変更されたことを示す通知を前記ディスプレイ上に表示し、
前記第１の基準が満たされていないという判定に従って、前記１つ以上のカメラの前記動作モードが変更されたことを示す前記通知を前記ディスプレイ上に表示することを見合わせる、
命令を含む、電子デバイス。
【請求項５６】
ディスプレイと、
１つ以上のカメラを含む１つ以上のセンサと、
を備える、電子デバイスであって、
カメラアプリケーションのユーザインタフェースを前記ディスプレイ上に表示している間に、前記１つ以上のセンサを介して、前記１つ以上のカメラのそれぞれの機能の動作を害する外部干渉を検出する手段と、
前記電子デバイスに対する前記外部干渉を検出したことに応じて、
第１の基準が満たされているという判定に従って、前記１つ以上のカメラの前記それぞれの機能に対する前記外部干渉の影響を低減するように前記１つ以上のカメラの動作モードが変更されたことを示す通知を前記ディスプレイ上に表示する手段と、
前記第１の基準が満たされていないという判定に従って、前記１つ以上のカメラの前記動作モードが変更されたことを示す前記通知を前記ディスプレイ上に表示することを見合わせる手段と、
を含む、電子デバイス。
【発明の詳細な説明】
【関連出願へのクロスリファレンス】
【０００１】
本出願は、２０１８年９月１１日に出願された「ＵＳＥＲ  ＩＮＴＥＲＦＡＣＥＳ  ＦＯＲ  ＳＩＭＵＬＡＴＥＤ  ＤＥＰＴＨ  ＥＦＦＥＣＴＳ」と題する米国仮特許出願第６２／７２９，９２６号、及び２０１８年９月２７日に出願された「ＵＳＥＲ  ＩＮＴＥＲＦＡＣＥＳ  ＦＯＲ  ＳＩＭＵＬＡＴＥＤ  ＤＥＰＴＨ  ＥＦＦＥＣＴＳ」と題する米国特許出願第１６／１４４，６２９号並びに、２０１８年９月２４日に出願された「ＵＳＥＲ  ＩＮＴＥＲＦＡＣＥＳ  ＦＯＲ  ＳＩＭＵＬＡＴＥＤ  ＤＥＰＴＨ  ＥＦＦＥＣＴＳ」と題するデンマーク出願第ＰＡ２０１８７０６２３号に対する優先権を主張し、これらの出願のそれぞれの内容があらゆる目的のため、その全体が参照により本明細書に組み込まれる。
【技術分野】
【０００２】
本開示は概して、コンピュータユーザインタフェースに関し、より具体的には、シミュレートされた深度効果のためのユーザインタフェースを管理するための技法に関する。
【背景技術】
【０００３】
現在のところ、ユーザは、大型カメラを使用せずに、正確な被写界深度特性を有する画像又は写真をキャプチャすることができない。更に、ユーザは、記憶された画像又は写真の被写界深度特性に対する正確な調整を迅速かつ容易に行うことができない。
【発明の概要】
【０００４】
しかしながら、電子デバイスを使用して深度効果をシミュレートするための一部の技法は、概して扱いにくく非効率である。例えば、一部の既存の技法では、複数回のキー押下又は打鍵を含む場合がある、複雑かつ時間のかかるユーザインタフェースが使用されている。既存の技法は、必要以上の時間がかかり、ユーザの時間及びデバイスのエネルギーを浪費する。後者の問題は、バッテリ動作式デバイスにおいては特に重大である。
【０００５】
したがって、本技法は、電子デバイスに、シミュレートされた深度効果のための高速かつ効率的な方法及びインタフェースを提供する。そのような方法及びインタフェースは、任意選択的に、シミュレートされた深度効果のための他の方法を補完又は置換する。そのような方法及びインタフェースは、ユーザにかかる認識的負担を低減し、より効率的なヒューマン−マシンインタフェースを作成する。バッテリ動作コンピューティングデバイスの場合、そのような方法及びインタフェースは、電力を節約し、バッテリ充電の間隔を長くする。このような方法及びインタフェースはまた、別のデバイスの支援がなくても電子デバイスのみを使用して、適用された深度効果の容易な適用及び編集を可能にし、それにより、ユーザの効率性と利便性を高めることができる。
【０００６】
いくつかの実施形態によれば、ディスプレイ及び１つ以上の入力デバイスを有する電子デバイスで実行される方法が説明される。方法は、ディスプレイ上に画像データの表現を表示することと、シミュレートされた深度効果に関する複数の選択可能値のうち第１の値によって修正された、シミュレートされた深度効果を有する画像データの表現を表示する間に、１つ以上の入力デバイスを介して、第１の入力を検出することと、第１の入力を検出したことに応じて、画像データの表現を操作することに関連付けられた調整可能スライダをディスプレイ上に表示することであって、調整可能スライダは、シミュレートされた深度効果に関する複数の選択可能値に対応する複数のオプションインジケータと、第１の値が現在選択されたシミュレートされた深度効果値であることを示す選択インジケータと、調整可能スライダを表示している間に、１つ以上の入力デバイスを介して、調整可能スライダへの入力を検出することと、調整可能スライダへの入力を検出したことに応じて、シミュレートされた深度効果に関する複数の選択可能値のうちの第２の値が現在選択されたシミュレートされた深度効果値であることを示すように調整可能スライダを移動させることと、第２の値によって修正されたシミュレートされた深度効果に従って、画像データの表現の外観を変更することと、を含む。
【０００７】
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、ディスプレイ及び１つ以上の入力デバイスを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、画像データの表現をディスプレイ上に表示し、シミュレートされた深度効果に関する複数の選択可能値の第１の値によって修正された、シミュレートされた深度効果を有する画像データの表現を表示している間に、１つ以上の入力デバイスを介して第１の入力を検出し、第１の入力を検出したことに応じて、画像データの表現を操作することに関連付けられた調整可能スライダをディスプレイ上に表示し、調整可能スライダは、シミュレートされた深度効果に関する複数の選択可能値に対応する複数のオプションインジケータと、第１の値が現在選択されたシミュレートされた深度効果値であることを示す選択インジケータと、を含み、調整可能スライダを表示している間に、１つ以上の入力デバイスを介して、調整可能スライダへの入力を検出し、調整可能スライダへの入力を検出したことに応じて、シミュレートされた深度効果に関する複数の選択可能値のうちの第２の値が、現在選択されたシミュレート深度効果値であることを示すように調整可能スライダを移動させ、第２の値によって修正されたシミュレートされた深度効果に従って、画像データの表現の外観を変更する、命令を含む。
【０００８】
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、ディスプレイ及び１つ以上の入力デバイスを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、画像データの表現をディスプレイ上に表示し、シミュレートされた深度効果に関する複数の選択可能値の第１の値によって修正された、シミュレートされた深度効果を有する画像データの表現を表示している間に、１つ以上の入力デバイスを介して第１の入力を検出し、第１の入力を検出したことに応じて、画像データの表現を操作することに関連付けられた調整可能スライダをディスプレイ上に表示し、調整可能スライダは、シミュレートされた深度効果に関する複数の選択可能値に対応する複数のオプションインジケータと、第１の値が現在選択されたシミュレートされた深度効果値であることを示す選択インジケータと、を含み、調整可能スライダを表示している間に、１つ以上の入力デバイスを介して、調整可能スライダへの入力を検出し、調整可能スライダへの入力を検出したことに応じて、シミュレートされた深度効果に関する複数の選択可能値のうちの第２の値が、現在選択されたシミュレート深度効果値であることを示すように調整可能スライダを移動させ、第２の値によって修正されたシミュレートされた深度効果に従って、画像データの表現の外観を変更する、命令を含む。
【０００９】
いくつかの実施形態によれば、電子デバイスが記載される。電子デバイスは、ディスプレイと、１つ以上の入力デバイスと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、１つ以上のプログラムは、画像データの表現をディスプレイ上に表示し、シミュレートされた深度効果に関する複数の選択可能値のうち第１の値によって修正された、シミュレートされた深度効果を有する画像データの表現を表示している間に、１つ以上の入力デバイスを介して第１の入力を検出し、第１の入力を検出したことに応じて、画像データの表現を操作することに関連付けられた調整可能スライダをディスプレイ上に表示し、調整可能スライダは、シミュレートされた深度効果に関する複数の選択可能値に対応する複数のオプションインジケータと、第１の値が現在選択されたシミュレート深度効果値であることを示す選択インジケータと、を含み、調整可能スライダを表示している間に、１つ以上の入力デバイスを介して、調整可能スライダへの入力を検出し、調整可能スライダへの入力を検出したことに応じて、シミュレートされた深度効果に関する複数の選択可能値のうちの第２の値が現在選択されたシミュレート深度効果値を示すように調整可能スライダを移動させ、第２の値によって修正されたシミュレートされた深度効果に従って、画像データの表現の外観を変更する、命令を含む。
【００１０】
いくつかの実施形態によれば、電子デバイスが記載される。電子デバイスは、ディスプレイと、１つ以上の入力デバイスと、画像データの表現をディスプレイに表示する手段と、シミュレートされた深度効果に関する複数の選択可能値のうち第１の値によって修正された、シミュレートされた深度効果を有する画像データの表現を表示している間に、１つ以上の入力デバイスを介して第１の入力を検出する手段と、第１の入力を検出したことに応じて、画像データの表現を操作することに関連付けられた調整可能スライダをディスプレイ上に表示する手段であって、調整可能スライダは、シミュレートされた深度効果に関する複数の選択可能値に対応する複数のオプションインジケータと、第１の値が現在選択されたシミュレートされた深度効果値であることを示す選択インジケータと、を含むようにする手段と、調整可能スライダを表示している間に、１つ以上の入力デバイスを介して調整可能スライダへの入力を検出する手段と、調整可能スライダへの入力を検出したことに応じて、シミュレートされた深度効果に関する複数の選択可能値のうち第２の値が、現在選択されたシミュレートされた深度効果値であることを示すように調整可能スライダを移動させ、第２の値によって修正された前記シミュレートされた深度効果に従って、画像データの前記表現の外観を変更する手段と、を含む。
【００１１】
いくつかの実施形態によれば、ディスプレイ及び１つ以上の入力デバイスを有する電子デバイスで実行される方法が説明される。方法は、１つ以上の入力デバイスを介して、シミュレートされた深度効果を画像データの表現に適用する要求を受信することであって、画像データの表現内の被写体についての深度データが利用可能であるようにすることと、シミュレートされた深度効果を画像データの表現に適用する要求を受信したことに応じて、シミュレートされた深度効果を有する画像データの表現をディスプレイ上に表示することであって、第１の方式で第１の深度を有する画像データの表現の第１の部分を歪ませることであって、第１の方法は、画像データの表現の既定部分から第１の部分の距離に基づいて決定される、ことと、第１の方式とは異なる第２の方式で第１の深度を有する画像データの表現の第２の部分を歪ませることであって、第２の方法は、画像データの表現の既定部分からの第２の部分の距離に基づいて決定される、ことと、を含むようにすることと、を含む。
【００１２】
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、ディスプレイ及び１つ以上の入力デバイスを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、１つ以上の入力デバイスを介して、シミュレートされた深度効果を画像データの表現に適用する要求を受信し、画像データの表現内の被写体についての深度データが利用可能であり、シミュレートされた深度効果を画像データの表現に適用する要求を受信したことに応じて、シミュレートされた深度効果を有する画像データの表現をディスプレイ上に表示し、第１の方式で第１の深度を有する画像データの表現の第１の部分を歪ませることであって、第１の方法は、画像データの表現の既定部分からの第１の部分の距離に基づいて決定される、ことと、第１の方式とは異なる第２の方式で第１の深度を有する画像データの表現の第２の部分を歪ませることであって、第２の方法は、画像データの表現の既定部分からの第２の部分の距離に基づいて決定される、ことと、を含む、命令を含む。
【００１３】
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、ディスプレイ及び１つ以上の入力デバイスを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、１つ以上の入力デバイスを介して、シミュレートされた深度効果を画像データの表現に適用する要求を受信し、画像データの表現内の被写体についての深度データが利用可能であり、シミュレートされた深度効果を画像データの表現に適用する要求を受信したことに応じて、シミュレートされた深度効果を有する画像データの表現をディスプレイ上に表示し、第１の方式で第１の深度を有する画像データの表現の第１の部分を歪ませることであって、第１の方法は、画像データの表現の既定部分からの第１の部分の距離に基づいて決定される、ことと、第１の方式とは異なる第２の方式で第１の深度を有する画像データの表現の第２の部分を歪ませることであって、第２の方法は、画像データの表現の既定部分からの第２の部分の距離に基づいて決定される、ことと、を含む、命令を含む。
【００１４】
いくつかの実施形態によれば、電子デバイスが記載される。電子デバイスは、ディスプレイと、１つ以上の入力デバイスと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、１つ以上のプログラムは、１つ以上の入力デバイスを介して、シミュレートされた深度効果を画像データの表現に適用する要求を受信し、画像データの表現内の被写体についての深度データが利用可能であり、シミュレートされた深度効果を画像データの表現に適用する要求を受信したことに応じて、シミュレートされた深度効果を有する画像データの表現をディスプレイ上に表示し、第１の方式で第１の深度を有する画像データの表現の第１の部分を歪ませることであって、第１の方法は、画像データの表現の既定部分からの第１の部分の距離に基づいて決定される、ことと、第１の方式とは異なる第２の方式で第１の深度を有する画像データの表現の第２の部分を歪ませることであって、第２の方法は、画像データの表現の既定部分からの第２の部分の距離に基づいて決定される、を含む、命令を含む。
【００１５】
いくつかの実施形態によれば、電子デバイスが記載される。電子デバイスは、ディスプレイと、１つ以上の入力デバイスと、１つ以上の入力デバイスを介して、シミュレートされた深度効果を画像データの表現に適用する手段であって、画像データの表現内の被写体についての深度データが利用可能であり、シミュレートされた深度効果を画像データの表現に適用する要求を受信したことに応じて、ディスプレイ上にシミュレートされた深度効果を有する画像データの表現を表示するための手段であって、第１の方式で第１の深度を有する画像データの表現の第１の部分を歪ませることであって、第１の方法は、画像データの表現の既定部分からの第１の部分の距離に基づいて決定される、ことと、第１の方式とは異なる第２の方式で第１の深度を有する画像データの表現の第２の部分を歪ませることであって、第２の方法は、画像データの表現の既定部分からの第２の部分の距離に基づいて決定される、ことと、を含む、手段と、を含む。
【００１６】
いくつかの実施形態によれば、ディスプレイ及び１つ以上のカメラを含む１つ以上のセンサを有する電子デバイスで実行される方法が説明される。方法は、カメラアプリケーションのユーザインタフェースをディスプレイ上に表示している間に、１つ以上のセンサを介して、１つ以上のカメラのそれぞれの機能の動作を害する外部干渉を検出することと、電子デバイスに対する外部干渉を検出したことに応じて、第１の基準が満たされているという判定に従って、１つ以上のカメラのそれぞれの機能に対する外部干渉の影響を低減するように１つ以上のカメラの動作モードが変更されたことを示す通知をディスプレイ上に表示することと、第１の基準が満たされていないという判定に従って、１つ以上のカメラの動作モードが変更されたことを示す通知をディスプレイ上に表示することを見合わせることと、を含む。
【００１７】
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、１つ以上のカメラを備え、ディスプレイ及び１つ以上のセンサを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、カメラアプリケーションのユーザインタフェースをディスプレイ上に表示している間に、１つ以上のセンサを介して、１つ以上のカメラのそれぞれの機能の動作を害する外部干渉を検出する命令と、電子デバイスに対する外部干渉を検出したことに応じて、第１の基準が満たされているという判定に従って、１つ以上のカメラのそれぞれの機能に対する外部干渉の影響を低減するように１つ以上のカメラの動作モードが変更されたことを示す通知をディスプレイ上に表示する命令と、第１の基準が満たされていないという判定に従って、１つ以上のカメラの動作モードが変更されたことを示す通知をディスプレイ上に表示することを見合わせる命令と、を含む。
【００１８】
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、１つ以上のカメラを備え、ディスプレイ及び１つ以上のセンサを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、カメラアプリケーションのユーザインタフェースをディスプレイ上に表示している間に、１つ以上のセンサを介して、１つ以上のカメラのそれぞれの機能の動作を害する外部干渉を検出する命令と、電子デバイスに対する外部干渉を検出したことに応じて、第１の基準が満たされているという判定に従って、１つ以上のカメラのそれぞれの機能に対する外部干渉の影響を低減するように１つ以上のカメラの動作モードが変更されたことを示す通知をディスプレイ上に表示する命令と、第１の基準が満たされていないという判定に従って、１つ以上のカメラの動作モードが変更されたことを示す通知をディスプレイ上に表示することを見合わせる命令と、を含む。
【００１９】
いくつかの実施形態によれば、電子デバイスが記載される。電子デバイスは、ディスプレイと、１つ以上のカメラを含む１つ以上のセンサと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、１つ以上のプログラムは、カメラアプリケーションのユーザインタフェースをディスプレイ上に表示している間に、１つ以上のセンサを介して、１つ以上のカメラのそれぞれの機能の動作を害する外部干渉を検出し、電子デバイスに対する外部干渉を検出したことに応じて、第１の基準が満たされているという判定に従って、１つ以上のカメラのそれぞれの機能に対する外部干渉の影響を低減するように１つ以上のカメラの動作モードが変更されたことを示す通知をディスプレイ上に表示し、第１の基準が満たされていないという判定に従って、１つ以上のカメラの動作モードが変更されたことを示す通知をディスプレイ上に表示することを見合わせる、命令を含む。
【００２０】
いくつかの実施形態によれば、電子デバイスが記載される。電子デバイスは、ディスプレイと、１つ以上のカメラを含む１つ以上のセンサと、カメラアプリケーションのユーザインタフェースをディスプレイ上に表示している間に、１つ以上のセンサを介して、１つ以上のカメラのそれぞれの機能の動作を害する外部干渉を検出する手段と、電子デバイスに対する外部干渉を検出したことに応じて、第１の基準が満たされているという判定に従って、１つ以上のカメラのそれぞれの機能に対する外部干渉の影響を低減するように１つ以上のカメラの動作モードが変更されたことを示す通知をディスプレイ上に表示する手段と、第１の基準が満たされていないという判定に従って、１つ以上のカメラの動作モードが変更されたことを示す通知をディスプレイ上に表示することを見合わせる手段と、を含む。
【００２１】
これらの機能を実行する実行可能命令は、任意選択的に、１つ以上のプロセッサによって実行されるために構成された非一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品に含まれる。これらの機能を実行する実行可能命令は、任意選択的に、１つ以上のプロセッサによって実行されるために構成された一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。
【００２２】
このため、デバイスは、画像効果を調整するための、より速く、より効率的な方法及びインタフェースを備え、それによって、そのようなデバイスの有効性、効率性、及びユーザ満足度が増す。このような方法及びインタフェースは、画像効果を調整するための他の方法を補完又は置き換えることができる。
【図面の簡単な説明】
【００２３】
記載する様々な実施形態をより良く理解するために、下記の図面と併せて、以下の実施形態の説明を参照されたい。同様の参照番号は、図面全体を通じて、対応する部品を指す。
【００２４】
【図１Ａ】いくつかの実施形態に係る、タッチ感知ディスプレイを有するポータブル多機能デバイスを示すブロック図である。
【００２５】
【図１Ｂ】いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。
【００２６】
【図２】いくつかの実施形態に係る、タッチスクリーンを有するポータブル多機能デバイスを示す。
【００２７】
【図３】いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。
【００２８】
【図４Ａ】いくつかの実施形態に係る、ポータブル多機能デバイス上のアプリケーションのメニューの例示的なユーザインタフェースを示す。
【００２９】
【図４Ｂ】いくつかの実施形態に係る、ディスプレイとは別個のタッチ感知面を有する多機能デバイスの例示的なユーザインタフェースを示す。
【００３０】
【図５Ａ】いくつかの実施形態に係る、パーソナル電子デバイスを示す。
【００３１】
【図５Ｂ】いくつかの実施形態に係るパーソナル電子デバイスを示すブロック図である。
【００３２】
【図６Ａ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【図６Ｂ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【図６Ｃ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【図６Ｄ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【図６Ｅ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【図６Ｆ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【図６Ｇ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【図６Ｈ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【図６Ｉ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【図６Ｊ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【図６Ｋ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【図６Ｌ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【図６Ｍ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【図６Ｎ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【図６Ｏ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【図６Ｐ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【図６Ｑ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【図６Ｒ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【図６Ｓ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【図６Ｔ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。
【００３３】
【図７Ａ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するユーザインタフェースを管理する方法を示すフロー図である。
【図７Ｂ】いくつかの実施形態に係る、シミュレートされた深度効果を調整するユーザインタフェースを管理する方法を示すフロー図である。
【００３４】
【図８Ａ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するための例示的なユーザインタフェースを示す。
【図８Ｂ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するための例示的なユーザインタフェースを示す。
【図８Ｃ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するための例示的なユーザインタフェースを示す。
【図８Ｄ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するための例示的なユーザインタフェースを示す。
【図８Ｅ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するための例示的なユーザインタフェースを示す。
【図８Ｆ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するための例示的なユーザインタフェースを示す。
【図８Ｇ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するための例示的なユーザインタフェースを示す。
【図８Ｈ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するための例示的なユーザインタフェースを示す。
【図８Ｉ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するための例示的なユーザインタフェースを示す。
【図８Ｊ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するための例示的なユーザインタフェースを示す。
【図８Ｋ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するための例示的なユーザインタフェースを示す。
【図８Ｌ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するための例示的なユーザインタフェースを示す。
【図８Ｍ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するための例示的なユーザインタフェースを示す。
【図８Ｎ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するための例示的なユーザインタフェースを示す。
【図８Ｏ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するための例示的なユーザインタフェースを示す。
【図８Ｐ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するための例示的なユーザインタフェースを示す。
【図８Ｑ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するための例示的なユーザインタフェースを示す。
【図８Ｒ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するための例示的なユーザインタフェースを示す。
【００３５】
【図９Ａ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するためのユーザインタフェースを管理する方法を示すフロー図である。
【図９Ｂ】いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するためのユーザインタフェースを管理する方法を示すフロー図である。
【００３６】
【図１０Ａ】いくつかの実施形態に係る、シミュレートされた画像効果を調整する干渉を示すための例示的なユーザインタフェースを示す。
【図１０Ｂ】いくつかの実施形態に係る、シミュレートされた画像効果を調整する干渉を示すための例示的なユーザインタフェースを示す。
【図１０Ｃ】いくつかの実施形態に係る、シミュレートされた画像効果を調整する干渉を示すための例示的なユーザインタフェースを示す。
【図１０Ｄ】いくつかの実施形態に係る、シミュレートされた画像効果を調整する干渉を示すための例示的なユーザインタフェースを示す。
【図１０Ｅ】いくつかの実施形態に係る、シミュレートされた画像効果を調整する干渉を示すための例示的なユーザインタフェースを示す。
【図１０Ｆ】いくつかの実施形態に係る、シミュレートされた画像効果を調整する干渉を示すための例示的なユーザインタフェースを示す。
【００３７】
【図１１】いくつかの実施形態に係る、シミュレートされた画像効果を調整する干渉を示すためのユーザインタフェースを管理する方法を示すフロー図である。
【発明を実施するための形態】
【００３８】
以下の説明は、例示的な方法、パラメータなどについて記載する。しかしながら、そのような説明は、本開示の範囲に対する限定として意図されるものではなく、むしろ例示的な実施形態の説明として提供されることを認識されたい。
【００３９】
深度効果をシミュレートするための効率的な方法及びインタフェースを提供する電子デバイスが必要とされている。例えば、ライブフィード画像／写真をキャプチャすることができ、又は記憶された画像／写真を表示することができ、ユーザが画像／写真の被写界深度特性に対する正確な調整を迅速かつ容易に行うことを可能にするデバイスが必要とされている。そのような技法は、画像効果の調整に関連付けられた表示コンテンツにアクセスするユーザの認識的負担を減らし、それによって生産性を高めることができる。更に、そのような技法は、普通なら冗長なユーザ入力に浪費されるプロセッサ及びバッテリの電力を低減することができる。
【００４０】
以下、図１Ａ〜図１Ｂ、図２、図３、図４Ａ〜図４Ｂ、及び図５Ａ〜図５Ｂは、イベント通知を管理する技法を実行するための例示的なデバイスの説明を提供する。図６Ａ〜図６Ｔは、いくつかの実施形態に係る、シミュレートされた深度効果を調整するための例示的なユーザインタフェースを示す。図７Ａ〜図７Ｂは、いくつかの実施形態に係る、シミュレートされた深度効果を調整するためのユーザインタフェースを管理する方法を示すフロー図である。図６Ａ〜図６Ｔのユーザインタフェースは、図７〜図７Ｂのプロセスを含む後述するプロセスを説明するために使用される。図８Ａ〜図８Ｒは、いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するための例示的なユーザインタフェースを示す。図９Ａ〜図９Ｂは、いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するためのユーザインタフェースを管理する方法を示すフロー図である。図８Ａ〜図８Ｒのユーザインタフェースは、図９Ａ〜図９Ｂのプロセスを含む後述するプロセスを説明するために使用される。図１０Ａ〜図１０Ｆは、いくつかの実施形態に係る、シミュレートされた画像効果を調整する干渉を示すための例示的なユーザインタフェースを示す。図１１は、いくつかの実施形態に係る、シミュレートされた画像効果を調整する干渉を示すためのユーザインタフェースを管理する方法を示すフロー図である。図１０Ａ〜図１０Ｆのユーザインタフェースは、図１１のプロセスを含む後述するプロセスを説明するために使用される。
【００４１】
以下の説明では、様々な要素について説明するために、「第１の」、「第２の」などの用語を使用するが、これらの要素は、それらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、記載する様々な実施形態の範囲から逸脱することなく、第１のタッチを第２のタッチと呼ぶこともでき、同様に第２のタッチを第１のタッチと呼ぶこともできる。第１のタッチ及び第２のタッチはどちらもタッチであるが、これらは同じタッチではない。
【００４２】
本明細書において様々な記載の実施形態の説明で用いられている用語は、特定の実施形態のみを説明する目的のためであって、限定することを意図するものではない。記載する様々な実施形態の説明及び添付の特許請求の範囲では、単数形の「ａ（１つ、一）」、「ａｎ（１つ、一）」、及び「ｔｈｅ（その、この）」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む、備える）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
【００４３】
「〜の場合（if）」という用語は、任意選択的に、文脈に応じて、「〜とき（when）」若しくは「〜とき（upon）」、又は「〜と判定したことに応じて（in response to determining）」若しくは「〜を検出したことに応じて（in response to detecting）」を意味すると解釈される。同様に、「〜と判定された場合（if it is determined）」又は「［記載の状態又はイベント］が検出された場合（if [a stated condition or event] is detected）」という語句は、任意選択的に、文脈に応じて、「〜と判定したとき（upon determining）」若しくは「〜と判定したことに応じて（in response to determining）」、又は「［記載の状態又はイベント］を検出したとき（upon detecting [the stated condition or event]）」若しくは「［記載の状態又はイベント］を検出したことに応じて（in response to detecting [the stated condition or event］）」を意味すると解釈される。
【００４４】
電子デバイス、かかるデバイスのユーザインタフェース、及びかかるデバイスを使用するための関連するプロセスの実施形態を説明する。いくつかの実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、カリフォルニア州クパチーノのＡｐｐｌｅ  Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ  Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）のデバイスが挙げられるが、これらに限定されない。任意選択的に、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスも使用される。また、いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するデスクトップコンピュータであることも理解されたい。
【００４５】
以下の考察では、ディスプレイ及びタッチ感知面を含む電子デバイスを説明する。しかしながら、電子デバイスは、任意選択的に、物理キーボード、マウス、及び／又はジョイスティックなどの１つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
【００４６】
このデバイスは、典型的には、描画アプリケーション、プレゼンテーションアプリケーション、文書作成アプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び／又はデジタル映像再生アプリケーションのうちの１つ以上などの様々なアプリケーションをサポートする。
【００４７】
このデバイス上で実行される様々なアプリケーションは、任意選択的に、タッチ感知面などの、少なくとも１つの共通の物理ユーザインタフェースデバイスを使用する。タッチ感知面の１つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、任意選択的に、調整及び／又は変更される。このように、デバイスの共通の物理アーキテクチャ（タッチ感知面など）は、任意選択的に、ユーザにとって直観的かつ透明なユーザインタフェースを備える様々なアプリケーションをサポートする。
【００４８】
ここで、タッチ感知ディスプレイを備えたポータブルデバイスの実施形態に注目を向ける。図１Ａは、いくつかの実施形態に係る、タッチ感知ディスプレイシステム１１２を有するポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイ１１２は、便宜上「タッチスクリーン」と呼ばれることがあり、「タッチ感知ディスプレイシステム」として知られている又は呼ばれることがある。デバイス１００は、メモリ１０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インタフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、他の入力コントロールデバイス１１６、及び外部ポート１２４を含む。デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。デバイス１００は、任意選択的に、デバイス１００上の接触の強度を検出する１つ以上の接触強度センサ１６５（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）を含む。デバイス１００は、任意選択的に、デバイス１００上で触知出力を生成する（例えばデバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などのタッチ感知面上で触知出力を生成する）１つ以上の触知出力生成器１６７を含む。これらの構成要素は、任意選択的に、１つ以上の通信バス又は信号ライン１０３を介して通信する。
【００４９】
本明細書及び特許請求の範囲で用いられている場合、タッチ感知面への接触の「強度」という用語は、タッチ感知面への接触（例えば、指接触）の力又は圧力（単位面積当たりの力）、又は、タッチ感知面への接触の力若しくは圧力の代用語（プロキシ）を指す。接触の強度は、少なくとも４つの別個の値を含み、より典型的には、数百の（例えば、少なくとも２５６の）別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組み合わせを使用して、判定（又は測定）される。例えば、タッチ感知面の下又はそれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々なポイントにおける力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値が、接触の推定される力を決定するために組み合わされる（例えば、加重平均される）。同様に、スタイラスの感圧性先端部が、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。あるいは、タッチ感知面上で検出される接触エリアのサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化が、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。一部の実装形態では、接触の力又は圧力の代替測定値が、強度閾値を超えているかどうかを判定するために直接使用される（例えば、強度閾値は、代替測定値に対応する単位で記述される）。いくつかの実装形態では、接触力又は圧力の代理測定値は、力又は圧力の推定値に変換され、力又は圧力の推定値が、強度閾値を超えているかどうかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定される圧力閾値である）。接触の強度をユーザ入力の属性として使用することにより、実装面積が限られている低減されたサイズのデバイス上で、ユーザが他の方法ではアクセス不可能であり得る追加のデバイス機能にユーザがアクセスし、アフォーダンスを（例えば、タッチ感知ディスプレイ上に）表示すること、及び／又は、ユーザ入力を（例えば、タッチ感知ディスプレイ、タッチ感知面、又は、ノブ若しくはボタンなどの物理的／機械的制御部を介して）受信することが可能となる。
【００５０】
本明細書及び特許請求の範囲で用いられる場合、用語「触覚出力」は、デバイスの前の位置に対するデバイスの物理的な変位、デバイスの構成要素（例えば、タッチ感知面）のデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又は、ユーザの触感によりユーザによって検出されるデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況では、物理的変位によって生成された触知出力は、そのデバイス又はデバイスの構成要素の物理的特性の認識される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。場合によっては、ユーザの動作により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」「ダウンクリック」、「粗さ」）に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
【００５１】
デバイス１００は、ポータブル多機能デバイスの一例に過ぎず、デバイス１００は、図示されているよりも多くの又は少ない構成要素を任意選択的に有し、２つ以上の構成要素を任意選択的に組み合わせ、又は、異なる構成又は配置の構成要素を任意選択的に有することが理解されるべきである。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの両方の組み合わせで実施される。
【００５２】
メモリ１０２は、高速ランダムアクセスメモリを、任意選択的に含み、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性固体記憶デバイスなどの不揮発性メモリも任意選択的に含む。メモリコントローラ１２２は、任意選択的に、デバイス１００の他の構成要素によるメモリ１０２へのアクセスを制御する。
【００５３】
周辺機器インタフェース１１８は、デバイスの入力及び出力周辺機器をＣＰＵ１２０及びメモリ１０２に結合するために使用され得る。１つ以上のプロセッサ１２０は、メモリ１０２に記憶された様々なソフトウェアプログラム及び／若しくは命令セットを動作させる又は実行して、デバイス１００のための様々な機能を実行し、データを処理する。いくつかの実施形態では、周辺機器インタフェース１１８、ＣＰＵ１２０、及びメモリコントローラ１２２は、任意選択的に、チップ１０４などの単一のチップ上に実装される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
【００５４】
ＲＦ（無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号に又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、メモリなどが挙げられる。ＲＦ回路１０８は、任意選択的に、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（local area network、ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。ＲＦ回路１０８は、任意選択的に、短距離通信無線機などによって近距離通信（near field Communication、ＮＦＣ）フィールドを検出するよく知られている回路を含む。無線通信は、任意選択的に、それだけに限定されるものではないが、モバイル通信用グローバルシステム（Global System for Mobile Communications、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケットアクセス（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケットアクセス（high-speed uplink packet access、ＨＳＵＰＡ）、エボリューションデータオンリ（Evolution,Data-Only、ＥＶ−ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、デュアルセルＨＳＰＡ（Dual-Cell HSPA、ＤＣ−ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離通信（ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ−ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈローエネルギー（Bluetooth Low Energy、ＢＴＬＥ）、ワイヤレスフィデリティ（Wireless Fidelity、Ｗｉ−Ｆｉ）（例えば、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、ＩＥＥＥ８０２．１１ｎ、及び／若しくはＩＥＥＥ８０２．１１ａｃ）、ボイスオーバインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール用プロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／若しくはポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能なメッセージング及びプレゼンスプロトコル（extensible messaging and presence protocol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンスレベレイジングエクステンション用のセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、並びに／若しくはショートメッ���ージサービス（Short Message Service、ＳＭＳ）、又は本明細書の出願日の時点でまだ開発されていない通信プロトコルを含む任意の他の適切な通信プロトコルを含む、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
【００５５】
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインタフェースを提供する。オーディオ回路１１０は、周辺機器インタフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ１１１に送信する。スピーカ１１１は電気信号を人間の可聴音波に変換する。また、オーディオ回路１１０は、マイクロフォン１１３によって音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース１１８に送信する。オーディオデータは、任意選択的に、周辺機器インタフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、かつ／又はメモリ１０２及び／若しくはＲＦ回路１０８に伝送される。いくつかの実施形態では、オーディオ回路１１０はまた、ヘッドセットジャック（例えば、図２の２１２）を含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば片耳又は両耳用のヘッドホン）及び入力（例えばマイクロフォン）の両方を備えるヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
【００５６】
Ｉ／Ｏサブシステム１０６は、タッチスクリーン１１２及び他の入力制御デバイス１１６などの、デバイス１００上の入出力周辺機器を周辺機器インタフェース１１８に結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、深度カメラコントローラ１６９、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び、他の入力デバイス若しくは制御デバイス用の１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、他の入力コントロールデバイス１１６からの電気信号の受信／他の入力コントロールデバイス１１６への電気信号の送信を行う。他の入力コントロールデバイス１１６は、任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替的な実施形態では、入力コントローラ１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される（又はいずれにも結合されない）。１つ以上のボタン（例えば、図２の２０８）は、任意選択的に、スピーカ１１１及び／又はマイクロフォン１１３の音量コントロールのためのアップ／ダウンボタンを含む。１つ以上のボタンは、任意選択的に、プッシュボタン（例えば、図２の２０６）を含む。
【００５７】
全体が参照により本明細書に組み込まれる、２００５年１２月２３日出願の米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ  ａ  Ｄｅｖｉｃｅ  ｂｙ  Ｐｅｒｆｏｒｍｉｎｇ  Ｇｅｓｔｕｒｅｓ  ｏｎ  ａｎ  Ｕｎｌｏｃｋ  Ｉｍａｇｅ」、米国特許第７，６５７，８４９号に記載されているように、プッシュボタンの素早い押下は、任意選択的に、タッチスクリーン１１２のロックを解放し、又は任意選択的に、タッチスクリーン上のジェスチャを使用してデバイスをロック解除するプロセスを開始する。プッシュボタン（例えば、２０６）のより長い押下は、任意選択的に、デバイス１００への電力をオン又はオフにする。ボタンのうちの１つ以上の機能性は、任意選択的に、ユーザによってカスタマイズ可能である。タッチスクリーン１１２は、仮想又はソフトボタン及び１つ以上のソフトキーボードを実装するために使用される。
【００５８】
タッチ感知ディスプレイ１１２は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ１５６は、タッチスクリーン１１２からの電気信号の受信、及び／又はタッチスクリーン１１２への電気信号の送信を行う。タッチスクリーン１１２は、ユーザに対して視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びそれらの任意の組み合わせ（総称して「グラフィック」）を任意選択的に含む。いくつかの実施形態では、視覚出力の一部又は全ては、任意選択的に、ユーザインタフェースオブジェクトに対応する。
【００５９】
タッチスクリーン１１２は、触覚及び／又は触覚接触に基づくユーザからの入力を受け付けるタッチ感知面、センサ、又はセンサのセットを有する。タッチスクリーン１１２及びディスプレイコントローラ１５６は、（メモリ１０２内の任意の関連モジュール及び／又は命令セットとともに）、タッチスクリーン１１２上で接触（及び任意の接触の移動又は中断）を検出し、検出された接触をタッチスクリーン１１２に表示されたユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ、又は画像）との対話に変換する。例示的な実施形態では、タッチスクリーン１１２とユーザとの間の接触点は、ユーザの指に対応する。
【００６０】
タッチスクリーン１１２は任意選択的に、ＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術、又はＬＥＤ（発光ダイオード）技術を用いるが、他の実施形態では他のディスプレイ技術が用いられている。タッチスクリーン１１２及びディスプレイコントローラ１５６は、任意選択的に、それだけに限定されるものではないが、容量性、抵抗性、赤外線、及び表面音波の技術、並びにタッチスクリーン１１２との１つ以上の接触点を判定する他の近接センサアレイ又は他の要素を含む、現在知られている又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びそのあらゆる動き又は中断を検出する。例示的な実施形態では、カリフォルニア州クパチーノのＡｐｐｌｅ  Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）及びｉＰｏｄ  Ｔｏｕｃｈ（登録商標）に見られるものなどの、投影型相互静電容量感知技術が使用される。
【００６１】
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、任意選択的に、それぞれ全体が参照により本明細書に組み込まれる、米国特許第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、及び／若しくは第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、並びに／又は米国特許公報第２００２／００１５０２４（Ａ１）号に記載されているマルチタッチ感知タッチパッドに類似している。しかし、タッチスクリーン１１２はデバイス１００からの視覚出力を表示するのに対して、タッチ感知タッチパッドは視覚出力を提供しない。
【００６２】
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、以下の出願に記載されている。（１）２００６年５月２日出願の米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ  Ｔｏｕｃｈ  Ｓｕｒｆａｃｅ  Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日出願の米国特許出願第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ  Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日出願の米国特許出願第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ  Ｆｏｒ  Ｔｏｕｃｈ  Ｓｅｎｓｉｔｉｖｅ  Ｉｎｐｕｔ  Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日出願の米国特許出願第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ  Ｆｏｒ  Ｔｏｕｃｈ  Ｓｅｎｓｉｔｉｖｅ  Ｉｎｐｕｔ  Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日出願の米国特許出願第１１／０３８，５９０号、「Ｍｏｄｅ−Ｂａｓｅｄ  Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅｓ  Ｆｏｒ  Ｔｏｕｃｈ  Ｓｅｎｓｉｔｉｖｅ  Ｉｎｐｕｔ  Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日出願の米国特許出願第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ  Ｉｎｐｕｔ  Ｄｅｖｉｃｅ  Ｐｌａｃｅｍｅｎｔ  Ｏｎ  Ａ  Ｔｏｕｃｈ  Ｓｃｒｅｅｎ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日出願の米国特許出願第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ  Ｏｆ  Ａ  Ｃｏｍｐｕｔｅｒ  Ｗｉｔｈ  Ａ  Ｔｏｕｃｈ  Ｓｃｒｅｅｎ  Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日出願の米国特許出願第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ  Ｖｉｒｔｕａｌ  Ｋｅｙｓ  Ｏｆ  Ａ  Ｔｏｕｃｈ−Ｓｃｒｅｅｎ  Ｖｉｒｔｕａｌ  Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日出願の米国特許出願第１１／３６７，７４９号、「Ｍｕｌｔｉ−Ｆｕｎｃｔｉｏｎａｌ  Ｈａｎｄ−Ｈｅｌｄ  Ｄｅｖｉｃｅ」。これらの出願は全て、全体が参照により本明細書に組み込まれる。
【００６３】
タッチスクリーン１１２は、任意選択的に１００ｄｐｉ以上のビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンは、約１６０ｄｐｉのビデオ解像度を有する。ユーザは、任意選択的に、スタイラス、指などの任意の適したオブジェクト又は付属物を使用して、タッチスクリーン１１２に接触する。いくつかの実施形態では、ユーザインタフェースは、指ベースの接触及びジェスチャを主に使用して動作するように設計されるが、これは、タッチスクリーン上の指の接触面積がより大きいため、スタイラスベースの入力ほど正確でない可能性がある。いくつかの実施形態では、デバイスは、指による粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ／カーソルの位置又はコマンドに変換する。
【００６４】
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッドを含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン１１２とは別個のタッチ感知面又はタッチスクリーンによって形成されるタッチ感知面の拡張部である。
【００６５】
デバイス１００は、様々な構成要素に電力を供給するための電力システム１６２も含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
【００６６】
デバイス１００はまた、任意選択的に、１つ以上の光センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に結合された光センサを示す。光センサ１６４は、任意選択的に、電荷結合デバイス（charge-coupled device、ＣＣＤ）又は相補的金属酸化物半導体（complementary metal-oxide semiconductor、ＣＭＯＳ）フォトトランジスタを含む。光センサ１６４は、１つ以上のレンズを通って投影された環境からの光を受信し、その光を、画像を表すデータに変換する。光センサ１６４は、撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、任意選択的に、静止画像又はビデオをキャプチャする。いくつかの実施形態では、光センサは、デバイスの前面にあるタッチスクリーンディスプレイ１１２とは反対側のデバイス１００の裏面に位置し、したがってタッチスクリーンディスプレイは、静止画像及び／又はビデオの取得のためのビューファインダとして使用することが可能である。いくつかの実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見ている間に、ユーザの画像が、任意選択的に、テレビ会議のために入手されるように、光センサはデバイスの前面に配置される。いくつかの実施形態では、光センサ１６４の位置は、ユーザによって（例えば、デバイス筐体内でレンズ及びセンサを回転させることによって）変更することができ、したがって単一の光センサ１６４が、タッチスクリーンディスプレイとともに、テレビ会議にも静止画像及び／又はビデオの取得にも使用される。
【００６７】
デバイス１００はまた、任意選択的に、１つ以上の深度カメラセンサ１７５も含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の深度カメラコントローラ１６９に結合された深度カメラセンサを示す。深度カメラセンサ１７５は、環境からデータを受信して、視点（例えば、深度カメラセンサ）からのシーン内のオブジェクト（例えば、顔面）の３次元モデルを作成する。いくつかの実施形態では、撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、深度カメラセンサ１７５は、任意選択的に、撮像モジュール１４３によってキャプチャされた画像の種々の部分の深度マップを決定するために使用される。いくつかの実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見る間に、任意選択的に、深度情報を有するユーザの画像をテレビ会議のために取得し、また、深度マップデータを有する自撮り画像をキャプチャするために、デバイス１００の前面に深度カメラセンサが配置されている。いくつかの実施形態では、深度カメラセンサ１７５は、デバイスの背面に、又はデバイス１００の背面及び前面に配置される。いくつかの実施形態では、深度カメラセンサ１７５の位置は、ユーザによって（例えば、デバイスハウジング内でレンズ及びセンサを回転させることによって）変更することができ、したがって深度カメラセンサ１７５が、タッチスクリーンディスプレイとともに、テレビ会議にも静止画像及び／又はビデオの取得にも使用される。
【００６８】
いくつかの実施形態では、深度マップ（例えば、深度マップ画像）は、視点（例えば、カメラ、光センサ、深度カメラセンサ）からのシーン内のオブジェクトの距離に関する情報（例えば、値）を含む。深度マップの一実施形態では、各深度画素は、その対応する２次元画素が位置する、視点のＺ軸内の位置を規定する。いくつかの実施形態では、深度マップは画素で構成されており、各画素は、値（例えば、０〜２５５）によって定義される。例えば、値「０」は、「３次元」シーン内で最も遠い場所に位置している画素を表し、値「２５５」は、その「３次元」シーン内で視点（例えば、カメラ、光センサ、深度カメラセンサ）の最も近くに位置している画素を表す。他の実施形態では、深度マップは、シーン内のオブジェクトと視点の平面との間の距離を表す。いくつかの実施形態では、深度マップは、深度カメラから見た、関心対象物の様々な特徴部の相対深度（例えば、ユーザの顔面の目、鼻、口、耳の相対深度）に関する情報を含む。いくつかの実施形態では、深度マップは、関心対象物のｚ方向における輪郭をデバイスが判定することを可能にする、情報を含む。
【００６９】
デバイス１００は、任意選択的に１つ以上の接触強度センサ１６５も含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された接触強度センサを示す。接触強度センサ１６５は、任意選択的に、１つ以上のピエゾ抵抗歪みゲージ、容量性力センサ、電気力センサ、圧電力センサ、光学力センサ、容量性タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（若しくは圧力）を測定するために使用されるセンサ）を含む。接触強度センサ１６５は、接触強度情報（例えば、圧力情報、又は圧力情報に対するプロキシ）を環境から受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接される。いくつかの実施形態では、少なくとも１つの接触強度センサは、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置される。
【００７０】
デバイス１００はまた、任意選択的に１つ以上の近接センサ１６６を含む。図１Ａは、周辺機器インタフェース１１８に結合された近接センサ１６６を示す。あるいは、近接センサ１６６は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。近接センサ１６６は、任意選択的に、全体が参照により本明細書に組み込まれる、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ  Ｄｅｔｅｃｔｏｒ  Ｉｎ  Ｈａｎｄｈｅｌｄ  Ｄｅｖｉｃｅ」、第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ  Ｄｅｔｅｃｔｏｒ  Ｉｎ  Ｈａｎｄｈｅｌｄ  Ｄｅｖｉｃｅ」、第１１／６２０，７０２号、「Ｕｓｉｎｇ  Ａｍｂｉｅｎｔ  Ｌｉｇｈｔ  Ｓｅｎｓｏｒ  Ｔｏ  Ａｕｇｍｅｎｔ  Ｐｒｏｘｉｍｉｔｙ  Ｓｅｎｓｏｒ  Ｏｕｔｐｕｔ」、第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ  Ｒｅｓｐｏｎｓｅ  Ｔｏ  Ａｎｄ  Ｓｅｎｓｉｎｇ  Ｏｆ  Ｕｓｅｒ  Ａｃｔｉｖｉｔｙ  Ｉｎ  Ｐｏｒｔａｂｌｅ  Ｄｅｖｉｃｅｓ」、及び第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ  Ａｎｄ  Ｓｙｓｔｅｍｓ  Ｆｏｒ  Ａｕｔｏｍａｔｉｃ  Ｃｏｎｆｉｇｕｒａｔｉｏｎ  Ｏｆ  Ｐｅｒｉｐｈｅｒａｌｓ」で記載されているように機能する。いくつかの実施形態では、多機能デバイスが、ユーザの耳の近くに置かれた場合（例えば、ユーザが電話をかけている場合）、近接センサは、タッチスクリーン１１２をオフにして無効化する。
【００７１】
デバイス１００は、任意選択的に１つ以上の触知出力生成器１６７も含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に結合された触知出力生成器を示す。触知出力生成器１６７は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などのエネルギーを直線の動きに変換する電気機械デバイスを含む。接触強度センサ１６５は、触知フィードバック生成命令を触覚フィードバックモジュール１３３から受信し、デバイス１００のユーザが感知することが可能な触知出力をデバイス１００上に生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は水平方向（例えば、デバイス１００の表面と同じ平面内の前後）に移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサは、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置される。
【００７２】
デバイス１００は、任意選択的に１つ以上の加速度計１６８も含む。図１Ａは、周辺機器インタフェース１１８に結合された加速度計１６８を示す。あるいは、加速度計１６８は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。加速度計１６８は、任意選択的に、どちらも全体が参照により本明細書に組み込まれる、米国特許公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ−ｂａｓｅｄ  Ｔｈｅｆｔ  Ｄｅｔｅｃｔｉｏｎ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｐｏｒｔａｂｌｅ  Ｅｌｅｃｔｒｏｎｉｃ  Ｄｅｖｉｃｅｓ」、及び米国特許公開第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ  Ａｎｄ  Ａｐｐａｒａｔｕｓｅｓ  Ｆｏｒ  Ｏｐｅｒａｔｉｎｇ  Ａ  Ｐｏｒｔａｂｌｅ  Ｄｅｖｉｃｅ  Ｂａｓｅｄ  Ｏｎ  Ａｎ  Ａｃｃｅｌｅｒｏｍｅｔｅｒ」に記載されているように機能する。いくつかの実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、縦長表示又は横長表示でタッチスクリーンディスプレイに表示される。デバイス１００は、加速度計１６８に加えて、磁気計並びにデバイス１００の場所及び向き（例えば、縦方向又は横方向）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ又は他のグローバルナビゲーションシステム）受信機を任意選択的に含む。
【００７３】
いくつかの実施形態では、メモリ１０２内に記憶されているソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System、ＧＰＳ）モジュール（又は命令セット）１３５、及びアプリケーション（又は命令セット）１３６を含む。更に、いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、図１Ａ及び図３に示すように、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ１１２の様々な領域を占めているかを示す表示状態、デバイスの様々なセンサ及び入力コントロールデバイス１１６から取得した情報を含むセンサ状態、並びにデバイスの位置、及び／又は姿勢に関する位置情報のうちの１つ以上を含む。
【００７４】
オペレーティングシステム１２６（例えば、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ、ＯＳ  Ｘ、ｉＯＳ、ＷＩＮＤＯＷＳ、又はＶｘＷｏｒｋｓなどの組込み型オペレーティングシステム）は、全般的なシステムタスク（例えば、メモリ管理、記憶装置制御、電力管理など）を制御及び管理する様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
【００７５】
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素も含む。外部ポート１２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥなど）は、直接的に、又はネットワーク（例えばインターネット、無線ＬＡＮなど）を介して間接的に、他のデバイスに結合するように適合されている。いくつかの実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ  Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同じ若しくは同様であり、かつ／又はそれに適合しているマルチピン（例えば、３０ピン）コネクタである。
【００７６】
接触／動きモジュール１３０は、任意選択的に、（ディスプレイコントローラ１５６と連携して）タッチスクリーン１１２及び他のタッチ感知デバイス（例えば、タッチパッド又は物理的なクリックホイール）との接触を検出する。接触／動きモジュール１３０は、接触が生じたかどうかを判定すること（例えば、指ダウンイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定すること、接触の移動が存在するかどうかを判定し、タッチ感知面を横断する移動を追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、及び接触が停止したかどうかを判定すること（例えば、指アップイベント又は接触の中断を検出すること）などの、接触の検出に関する様々な動作を実行するための、様々なソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変化）を判定することを含む。これらの動作は、任意選択的に、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
【００７７】
いくつかの実施形態において、接触／動きモジュール１３０は、１つ以上の強度閾値のセットを用いて、動作がユーザによって実行されたか判定する（例えば、ユーザがアイコンを「クリックしたか」を判定する）。いくつかの実施形態では、強度閾値の少なくとも１つのサブセットは、ソフトウェアパラメータに従って判定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって決定されるのではなく、デバイス１００の物理ハードウェアを変更することなく調整することができる）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変更することなく、広範囲の既定閾値のうちのいずれかに設定することができる。加えて、いくつかの実装形態では、デバイスのユーザに、（例えば、個々の強度閾値を調整すること、及び／又は複数の強度閾値をシステムレベルのクリック「強度」パラメータによって一度に調整することによって）強度閾値のセットのうちの１つ以上を調整するソフトウェア設定が提供される。
【００７８】
接触／動きモジュール１３０は、任意選択的にユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する（例えば検出される接触の動き、タイミング、及び／又は強度が異なる）。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指タップジェスチャを検出することは、指ダウンイベントを検出し、それに続いて指ダウンイベントと同じ位置（又は実質的に同じ位置）（例えば、アイコンの位置）で指アップ（リフトオフ）イベントを検出することを含む。別の例として、タッチ感知面上で指スワイプジェスチャを検出することは、指ダウンイベントを検出し、それに続いて１つ以上の指ドラッグイベントを検出し、その後それに続いて指アップ（リフトオフ）イベントを検出することを含む。
【００７９】
グラフィックモジュール１３２は、表示されるグラフィックの視覚的インパクト（例えば、輝度、透明性、彩度、コントラスト、又は他の視覚特性）を変更するための構成要素を含む、タッチスクリーン１１２又は他のディスプレイ上にグラフィックを表現及び表示するための様々な公知のソフトウェア構成要素を含む。本明細書では、「グラフィック」という用語は、それだけに限定されるものではないが、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、ビデオ、アニメーションなどを含む、ユーザに表示することができる任意のオブジェクトを含む。
【００８０】
いくつかの実施形態において、グラフィックモジュール１３２は、使用されるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データとともに、表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次にディスプレイコントローラ１５６に出力する画面の画像データを生成する。
【００８１】
触覚フィードバックモジュール１３３は、ユーザのデバイス１００との対話に応答してデバイス１００上の１つ以上の位置で触覚出力を発生するために触知出力生成器１６７が使用する命令を生成するための様々なソフトウェア構成要素を含む。
【００８２】
テキスト入力モジュール１３４は、任意選択的に、グラフィックモジュール１３２の構成要素であるが、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）にテキストを入力するためのソフトキーボードを提供する。
【００８３】
ＧＰＳモジュール１３５は、デバイスの位置を判定し、この情報を様々なアプリケーションで使用するために（例えば、位置に基づくダイヤル発呼で使用するために電話１３８に、写真／ビデオのメタデータとしてカメラ１４３に、並びに、天気ウィジェット、地域の職業別電話帳ウィジェット、及び地図／ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションに）提供する。
【００８４】
アプリケーション１３６は、以下のモジュール（又は命令セット）又はこれらのサブセット若しくはスーパーセットを、任意選択的に含む。
●連絡先モジュール１３７（アドレス帳又は連絡先リストと呼ばれることもある）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（Instant messaging、ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又はビデオ用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●任意選択的に、天気ウィジェット１４９−１、株価ウィジェット１４９−２、計算機ウィジェット１４９−３、アラーム時計ウィジェット１４９−４、辞書ウィジェット１４９−５、及びユーザによって入手された他のウィジェット、並びにユーザ作成ウィジェット１４９−６のうちの１つ以上を含むウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９−６を作成するためのウィジェット作成モジュール１５０、
●検索モジュール１５１、
●ビデオプレーヤモジュール及び音楽プレーヤモジュールを一体化したビデオ及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、並びに／又は、
●オンラインビデオモジュール１５５。
【００８５】
任意選択的に、メモリ１０２に記憶される他のアプリケーション１３６の例として、他の文書作成アプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
【００８６】
連絡先モジュール１３７は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、任意選択的に、アドレス帳又は連絡先リストを（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２内に記憶して）管理するために使用される。連絡先モジュール１３７による管理には、アドレス帳に名前（単数又は複数）を追加すること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、実際の住所（単数又は複数）、又は他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号又は電子メールアドレスを提供して、電話１３８、テレビ会議モジュール１３９、電子メール１４０、又はＩＭ１４１による通信を開始かつ／又は促進すること、などが含まれる。
【００８７】
電話モジュール１３８は、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、任意選択的に、電話番号に対応する文字シーケンスの入力、連絡先モジュール１３７内の１つ以上の電話番号へのアクセス、入力された電話番号の修正、それぞれの電話番号のダイヤル、通話の実行、並びに通話終了時の接続切断又は通話停止のために使用される。前述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
【００８８】
テレビ会議モジュール１３９は、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先モジュール１３７、及び電話モジュール１３８と連携して、ユーザの指示に従ってユーザと１人以上の他の参加者との間のテレビ会議を開始、実行、及び終了するための実行可能な命令を含む。
【００８９】
電子メールクライアントモジュール１４０は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ユーザの指示に応じて電子メールを作成、送信、受信、及び管理するための実行可能な命令を含む。画像管理モジュール１４４と連携して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールの作成及び送信を非常に容易にする。
【００９０】
インスタントメッセージングモジュール１４１は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、インスタントメッセージに対応する文字シーケンスの入力、以前に入力された文字の修正、（例えば、電話通信ベースのインスタントメッセージ向けのショートメッセージサービス（Short Message Service、ＳＭＳ）若しくはマルチメディアメッセージサービス（Multimedia Message Service、ＭＭＳ）プロトコル、又はインターネットベースのインスタントメッセージ向けのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用する）それぞれのインスタントメッセージの送信、インスタントメッセージの受信、及び受信したインスタントメッセージの閲覧のための実行可能な命令を含む。いくつかの実施形態では、送信される及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるようなグラフィック、写真、オーディオファイル、ビデオファイル、及び／又は他の添付ファイルを含む。本明細書では、「インスタントメッセージング」とは、電話通信ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されるメッセージ）と、インターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して送信されるメッセージ）との両方を指す。
【００９１】
トレーニングサポートモジュール１４２は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４、及び音楽プレーヤモジュールと連携して、トレーニング（例えば、時間、距離、及び／又はカロリー燃焼の目標を有する）を作成し、トレーニングセンサ（スポーツデバイス）と通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択及び再生し、並びに、トレーニングデータを表示、記憶、及び送信するための実行可能な命令を含む。
【００９２】
カメラモジュール１４３は、タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と連携して、静止画像若しくは（ビデオストリームを含む）ビデオのキャプチャ及びメモリ１０２内への記憶、静止画像若しくはビデオの特性の修正、又はメモリ１０２からの静止画像若しくはビデオの削除のための実行可能な命令を含む。
【００９３】
画像管理モジュール１４４は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３と連携して、静止画像及び／若しくはビデオの配置、修正（例えば、編集）、又はその他の操作、ラベル付け、削除、（例えば、デジタルスライドショー若しくはアルバムにおける）提示、及び記憶のための実行可能な命令を含む。
【００９４】
ブラウザモジュール１４７は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ウェブページ又はその一部分、並びにウェブページにリンクされた添付ファイル及び他のファイルの検索、リンク、受信、及び表示を含む、ユーザの指示に従ってインターネットをブラウジングするための実行可能な命令を含む。
【００９５】
カレンダモジュール１４８は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、ユーザの指示に従って、カレンダ及びカレンダに関連付けられたデータ（例えば、カレンダアイテム、ｔｏ−ｄｏリストなど）を作成、表示、修正、及び記憶するための実行可能な命令を含む。
【００９６】
ウィジェットモジュール１４９は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、任意選択的に、ユーザによってダウンロード及び使用されるミニアプリケーション（例えば、天気ウィジェット１４９−１、株価ウィジェット１４９−２、計算機ウィジェット１４９−３、アラーム時計ウィジェット１４９−４、及び辞書ウィジェット１４９−５）、又はユーザによって作成されたミニアプリケーション（例えば、ユーザ作成ウィジェット１４９−６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ、ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Ｃａｓｃａｄｉｎｇ  Ｓｔｙｌｅ  Ｓｈｅｅｔｓ、カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ、拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
【００９７】
ウィジェット作成モジュール１５０は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、任意選択的に、ウィジェットを作成する（例えば、ウェブページのユーザ指定部分をウィジェットにする）ために、ユーザによって使用される。
【００９８】
検索モジュール１５１は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ユーザの指示に従って１つ以上の検索基準（例えば、１つ以上のユーザ指定検索語）と一致するメモリ１０２内のテキスト、音楽、サウンド、画像、ビデオ、及び／又は他のファイルを検索するための実行可能な命令を含む。
【００９９】
ビデオ及び音楽プレーヤモジュール１５２は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、及びブラウザモジュール１４７と連携して、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された録音済みの音楽及び他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能な命令、並びにビデオを（例えば、タッチスクリーン１１２上又は外部ポート１２４を介して接続された外部のディスプレイ上に）表示、提示、又は別の方法で再生するための実行可能な命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ  Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能を含む。
【０１００】
メモモジュール１５３は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ユーザの指示に従ってメモ、ｔｏ−ｄｏリストなどを作成及び管理するための実行可能な命令を含む。
【０１０１】
地図モジュール１５４は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と連携して、任意選択的に、ユーザの指示に従って、地図及び地図に関連付けられたデータ（例えば、運転の道順、特定の場所又はその付近の店舗及び他の見どころに関するデータ、並びに他の場所ベースのデータ）を受信、表示、修正、及び記憶するために使用される。
【０１０２】
オンラインビデオモジュール１５５は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、ユーザが特定のオンラインビデオへのアクセス、特定のオンラインビデオのブラウジング、（例えば、ストリーミング及び／又はダウンロードによる）受信、（例えば、タッチスクリーン上又は外部ポート１２４を介して接続された外部ディスプレイ上の）再生、特定のオンラインビデオへのリンクを有する電子メールの送信、並びにＨ．２６４などの１つ以上のファイル形式のオンラインビデオの他の管理を行うことを可能にする命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。オンラインビデオアプリケーションについての追加の説明は、その内容の全体が参照により本明細書に組み込まれる、２００７年６月２０日出願の米国仮特許出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ  Ｍｕｌｔｉｆｕｎｃｔｉｏｎ  Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ  Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ  ｆｏｒ  Ｐｌａｙｉｎｇ  Ｏｎｌｉｎｅ  Ｖｉｄｅｏｓ」、及び２００７年１２月３１日出願の米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ  Ｍｕｌｔｉｆｕｎｃｔｉｏｎ  Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ  Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ  ｆｏｒ  Ｐｌａｙｉｎｇ  Ｏｎｌｉｎｅ  Ｖｉｄｅｏｓ」を参照されたい。
【０１０３】
上記で識別されたモジュール及びアプリケーションのうちのそれぞれは、１つ以上の上記の機能を実行するための実行可能な命令セット及び本出願に記載の方法（例えば、コンピュータ実装の方法及び本明細書に記載の他の情報処理方法）に対応する。これらのモジュール（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットが、任意選択的に、組み合わされ、又は別の方法で再構成される。例えば、ビデオプレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わされて、単一のモジュール（例えば、図１Ａのビデオ及び音楽プレーヤモジュール１５２）にされる。いくつかの実施形態では、メモリ１０２は、任意選択で、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ１０２は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
【０１０４】
いくつかの実施形態において、デバイス１００は、デバイス上の機能の既定のセットの動作がタッチスクリーン及び／又はタッチパッドを介して排他的に実行されるデバイスである。デバイス１００が動作するための主要な入力コントロールデバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、任意選択的に、デバイス１００上の物理的な入力コントロールデバイス（プッシュボタン、ダイヤルなど）の数が削減される。
【０１０５】
タッチスクリーン及び／又はタッチパッドを介して排他的に実行される既定のセットの機能は、任意選択的にユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたときに、デバイス１００上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。一部の他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又はその他の物理入力コントロールデバイスである。
【０１０６】
図１Ｂは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、イベントソータ１７０（例えば、オペレーティングシステム１２６内）と、それぞれのアプリケーション１３６−１（例えば、前述のアプリケーション１３７〜１５１、１５５、３８０〜３９０のうちのいずれか）とを含む。
【０１０７】
イベントソータ１７０は、イベント情報を受信し、イベント情報を配信するアプリケーション１３６−１、及びアプリケーション１３６−１のアプリケーションビュー１９１を判定する。イベントソータ１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。いくつかの実施形態では、アプリケーション１３６−１は、アプリケーションがアクティブ又は実行中であるときにタッチ感知ディスプレイ１１２に表示される現在のアプリケーションビューを示すアプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７は、どのアプリケーション（単数又は複数）が現在アクティブであるかを判定するためにイベントソータ１７０によって使用され、アプリケーション内部状態１９２は、イベント情報が配信されるアプリケーションビュー１９１を判定するためにイベントソータ１７０によって使用される。
【０１０８】
いくつかの実施形態において、アプリケーション内部状態１９２は、追加情報として、例えば、アプリケーション１３６−１が実行を再開する際に用いられる再開情報、アプリケーション１３６−１により表示されている又は表示の準備ができている情報を示すユーザインタフェース状態情報、ユーザがアプリケーション１３６−１の以前の状態又はビューに戻ることを可能にするための状態の待ち行列、及びユーザが以前にとったアクションのリドゥ／アンドゥの待ち行列のうちの１つ以上を含む。
【０１０９】
イベントモニタ１７１は、周辺機器インタフェース１１８よりイベント情報を受信する。イベント情報は、サブイベント（例えば、タッチ感知ディスプレイ１１２でのマルチタッチジェスチャの一部としてのユーザタッチ）に関する情報を含む。周辺機器インタフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計（単数又は複数）１６８、及び／若しくは（オーディオ回路１１０を介した）マイクロフォン１１３などのセンサから受信する情報を送信する。周辺機器インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイ１１２又はタッチ感知面からの情報を含む。
【０１１０】
いくつかの実施形態において、イベントモニタ１７１は、所定の間隔で周辺機器インタフェース１１８に要求を送る。それに応じて、周辺機器インタフェース１１８は、イベント情報を送信する。他の実施形態では、周辺機器インタフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回る及び／又は所定の持続時間を超える入力の受信）があるときのみイベント情報を送信する。
【０１１１】
いくつかの実施形態において、イベントソータ１７０は、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３も含む。
【０１１２】
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイ１１２が１つ以上のビューを表示した際に、１つ以上のビュー内のサブイベントが発生した場所を判定するためのソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御装置及び他の要素から構成されている。
【０１１３】
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書中では、情報が表示されタッチベースのジェスチャが発生する、アプリケーションビュー又はユーザインタフェースウインドウと呼ばれることもあるビューのセットである。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。
【０１１４】
ヒットビュー判定モジュール１７２は、タッチベースのジェスチャのサブイベントに関連した情報を受信する。アプリケーションが階層状に構成された複数のビューを有するとき、ヒットビュー判定モジュール１７２は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始サブイベント（例えば、イベント又は潜在的イベントを形成するサブイベントシーケンスにおける第１のサブイベント）が発生する最も低いレベルのビューである。ヒットビューがヒットビュー判定モジュール１７２によって特定されると、ヒットビューは、通常、ヒットビューとして特定されたタッチ若しくは入力ソースと同じタッチ又は入力ソースに関係する全てのサブイベントを受信する。
【０１１５】
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（１つ又は複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連付けられたエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
【０１１６】
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えば、イベント識別部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態では、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、それぞれのイベント受信部１８２によって取得されるイベント情報をイベントキューに記憶する。
【０１１７】
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。あるいは、アプリケーション１３６−１がイベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、独立型のモジュールであり、又は接触／動きモジュール１３０などのメモリ１０２内に記憶されている別のモジュールの一部分である。
【０１１８】
いくつかの実施形態では、アプリケーション１３６−１は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理するための命令を含む、複数のイベント処理部１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６−１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。典型的には、それぞれのアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、ユーザインタフェースキット、又は、アプリケーション１３６−１が方法及び他の属性を継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベント処理部１９０は、データ更新部１７６、オブジェクト更新部１７７、ＧＵＩ更新部１７８、及び／又はイベントソータ１７０から受信されたイベントデータ１７９、のうちの１つ以上を含む。イベント処理部１９０は、任意選択的に、データ更新部１７６、オブジェクト更新部１７７、又はＧＵＩ更新部１７８を利用し又は呼び出して、アプリケーション内部状態１９２を更新する。あるいは、アプリケーションビュー１９１のうちの１つ以上が、１つ以上のそれぞれのイベント処理部１９０を含む。また、いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８のうちの１つ以上は、それぞれのアプリケーションビュー１９１に含まれる。
【０１１９】
それぞれのイベント認識部１８０は、イベントソータ１７０からイベント情報（例えば、イベントデータ１７９）を受信し、イベント情報からイベントを識別する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０はまた、メタデータ１８３及びイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットも含む。
【０１２０】
イベント受信部１８２は、イベントソータ１７０よりイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。いくつかの実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへ、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ぶ）についての対応する情報を含む。
【０１２１】
イベント比較部１８４は、イベント情報を既定のイベント又はサブイベントの定義と比較し、その比較により、イベント又はサブイベントを判定、又はイベント若しくはサブイベントの状態を判定又は更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えばイベント１（１８７−１）及びイベント２（１８７−２）などのイベント（例えば、既定のサブイベントのシーケンス）の定義を含む。いくつかの実施形態では、イベント（１８７）内のサブイベントは、例えば、タッチの開始、タッチの終了、タッチの移動、タッチの取り消し、及び複数のタッチを含む。一実施例では、イベント１（１８７−１）についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階に対する表示オブジェクト上の第１のタッチ（タッチ開始）、所定の段階に対する第１のリフトオフ（タッチ終了）、所定の段階に対する表示オブジェクト上の第２のタッチ（タッチ開始）、及び所定の段階に対する第２のリフトオフ（タッチ終了）を含む。別の実施例では、イベント２（１８７−２）の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、所定の段階に対する表示オブジェクト上のタッチ（又は接触）、タッチ感知ディスプレイ１１２にわたるタッチの移動、及びタッチのリフトオフ（タッチ終了）を含む。いくつかの実施形態では、イベントは、１つ以上の関連付けられたイベント処理部１９０に関する情報も含む。
【０１２２】
いくつかの実施形態において、イベント定義１８７は、それぞれのユーザインタフェースオブジェクト用のイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、タッチ感知ディスプレイ１１２に３つのユーザインタフェースオブジェクトが表示されているアプリケーションビュー内で、タッチ感知ディスプレイ１１２上でタッチが検出されると、イベント比較部１８４は、ヒットテストを実行して、３つのユーザインタフェースオブジェクトのうちのどれがタッチ（サブイベント）に関連付けられているかを判定する。表示された各オブジェクトが、それぞれのイベント処理部１９０に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトに関連付けられたイベント処理部を選択する。
【０１２３】
いくつかの実施形態において、それぞれのイベント（１８７）の定義は、サブイベントのシーケンスが、イベント認識部のイベントタイプに対応するか対応しないかが判定されるまで、イベント情報の配信を遅延させる遅延動作も含む。
【０１２４】
それぞれのイベント認識部１８０が一連のサブイベントがイベント定義１８６のイベントのいずれとも一致しないと判断した場合、それぞれのイベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
【０１２５】
いくつかの実施形態において、それぞれのイベント認識部１８０は、イベント配信システムが、アクティブに関わっているイベント認識部へのサブイベント配信を実行する方法を示す、構成可能なプロパティ、フラグ、及び／又はリストを有するメタリスト１８３を含む。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することが可能となるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。
【０１２６】
いくつかの実施形態において、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されたときに、イベントに関連付けられたイベント処理部１９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントに関連付けられたイベント情報をイベント処理部１９０に配信する。イベント処理部１９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する（及び、送信を延期する）こととは別個である。いくつかの実施形態では、イベント認識部１８０は、認識したイベントに関連付けられたフラグを投入し、そのフラグに関連付けられたイベント処理部１９０は、そのフラグを捕らえ、既定のプロセスを実行する。
【０１２７】
いくつかの実施形態において、イベント配信命令１８８は、イベント処理部をアクティブ化せずにサブイベントに関するイベント情報を配布するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を実行する。
【０１２８】
いくつかの実施形態において、データ更新部１７６は、アプリケーション１３６−１で使用されるデータを作成及び更新する。例えば、データ更新部１７６は、連絡先モジュール１３７で使用される電話番号を更新し、又はビデオプレーヤモジュールで使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクト更新部１７７は、アプリケーション１３６−１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部１７７は、新たなユーザインタフェースオブジェクトを作成し、又はユーザインタフェースオブジェクトの位置を更新する。ＧＵＩ更新部１７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送信する。
【０１２９】
いくつかの実施形態では、イベント処理部１９０（１つ又は複数）は、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８を含む、又はこれらにアクセスする。いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８は、それぞれのアプリケーション１３６−１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
【０１３０】
タッチ感知ディスプレイ上のユーザタッチのイベント処理に関する上記の考察は、入力デバイスを用いて多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、キーボードの単一又は複数の押圧若しくは保持と任意選択的に連携される、マウスの移動及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された眼球運動、バイオメトリック入力、並びに／又はそれらの任意の組み合わせを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
【０１３１】
図２は、いくつかの実施形態に係る、タッチスクリーン１１２を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを表示する。本実施形態、並びに以下で説明される他の実施形態では、ユーザは、例えば、１本以上の指２０２（図には正確な縮尺では描かれていない）又は１つ以上のスタイラス２０３（図には正確な縮尺では描かれていない）を使用して、グラフィック上でジェスチャを実施することによって、それらのグラフィックのうちの１つ以上を選択することが可能となる。いくつかの実施形態では、１つ以上のグラフィックの選択は、ユーザが、その１つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、デバイス１００と接触した指の、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上向きに及び／若しくは下向きに）、並びに／又は、ローリング（右から左へ、左から右へ、上向きに及び／若しくは下向きに）を、任意選択的に含む。一部の実装形態又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
【０１３２】
デバイス１００は任意選択的に、「ホーム」又はメニューボタン２０４などの１つ以上の物理ボタンも含む。前述したように、メニューボタン２０４は、任意選択的にデバイス１００上で実行される１組のアプリケーション内の任意のアプリケーション１３６にナビゲートするために、任意選択的に使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーン１１２に表示されるＧＵＩ内のソフトキーとして実装される。
【０１３３】
いくつかの実施形態では、デバイス１００は、タッチスクリーン１１２、メニューボタン２０４、デバイスの電源をオン／オフにしてデバイスをロックするプッシュボタン２０６、音量調整ボタン２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、及びドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、既定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン／オフするため、ボタンを押し下げて、既定の時間が経過する前にボタンを解放することによってデバイスをロックするため、及び／又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。代替の実施形態では、デバイス１００は、マイクロフォン１１３を介して、いくつかの機能をアクティブ化又は非アクティブ化するための口頭入力もまた受け入れる。デバイス１００は、任意選択的に、タッチスクリーン１１２上の接触の強度を検出する１つ以上の接触強度センサ１６５、及び／又はデバイス１００のユーザに対する触知出力を生成する１つ以上の触知出力生成器１６７もまた含む。
【０１３４】
図３は、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、通常、１つ以上の処理ユニット（ＣＰＵ）３１０、１つ以上のネットワーク又は他の通信インタフェース３６０、メモリ３７０、及びこれらの構成要素を相互接続する１つ以上の通信バス３２０を含む。通信バス３２０は、任意選択的に、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることもある）を含む。デバイス３００は、ディスプレイ３４０を含む入出力（Ｉ／Ｏ）インタフェース３３０を含み、ディスプレイ３４０は、通常、タッチスクリーンディスプレイである。Ｉ／Ｏインタフェース３３０はまた、任意選択的に、キーボード及び／又はマウス（若しくは他のポインティングデバイス）３５０並びにタッチパッド３５５、デバイス３００上に触知出力を生成するための（例えば、図１Ａを参照して前述した触知出力生成器１６７と同様の）触知出力生成器３５７、センサ３５９（例えば、光、加速度、近接、タッチ感知、及び／又は図１Ａを参照して前述した、接触強度センサ１６５と同様の接触強度センサ）を含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ  ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択的に、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３７０は、任意選択で、ＣＰＵ（単数又は複数）３１０からリモートに位置する１つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２内に記憶されているプログラム、モジュール、及びデータ構造に類似したプログラム、モジュール、及びデータ構造、又はそのサブセットを記憶する。更に、メモリ３７０は、任意選択で、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は、任意選択的に、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を記憶するのに対して、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、任意選択的に、これらのモジュールを記憶しない。
【０１３５】
図３の上記で特定した要素はそれぞれ、任意選択的に、前述したメモリデバイスのうちの１つ以上の中に記憶される。上記で特定したモジュールはそれぞれ、前述した機能を実行する命令セットに対応する。上記で特定したモジュール又はプログラム（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって様々な実施形態では、これらのモジュールの様々なサブセットが、任意選択的に組み合わされ、又は他の方法で再構成される。いくつかの実施形態では、メモリ３７０は、上記で特定されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
【０１３６】
次に、任意選択的に、例えばポータブル多機能デバイス１００に実装されるユーザインタフェースの実施形態に注意を向ける。
【０１３７】
図４Ａは、いくつかの実施形態に係る、ポータブル多機能デバイス１００上のアプリケーションのメニューの例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス３００上に任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びＷｉ−Ｆｉ信号などの無線通信（単数又は複数）用の信号強度インジケータ（単数又は複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈインジケータ４０５、
●バッテリ状態インジケータ４０６、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ４０８
○不在着信又はボイスメールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされる、ｉＰｏｄ（Ａｐｐｌｅ  Ｉｎｃ．の商標）モジュール１５２とも称されるビデオ及び音楽プレーヤモジュール１５２用のアイコン４２２、及び
●以下のような、他のアプリケーションのアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１のアイコン４２４、
○「カレンダ」とラベル付けされた、カレンダモジュール１４８のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３のアイコン４３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール１５５のアイコン４３２、
○「株価」とラベル付けされた、株価ウィジェット１４９−２のアイコン４３４、
○「地図」とラベル付けされた、地図モジュール１５４のアイコン４３６、
○「天気」とラベル付けされた、気象ウィジェット１４９−１のアイコン４３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット１４９−４のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６の設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション又はモジュールのアイコン４４６。
【０１３８】
図４Ａに示すアイコンラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽プレーヤモジュール１５２のアイコン４２２は、「音楽」又は「音楽プレーヤ」とラベル付けされる。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
【０１３９】
図４Ｂは、ディスプレイ４５０（例えば、タッチスクリーンディスプレイ１１２）とは別個のタッチ感知面４５１（例えば、図３のタブレット又はタッチパッド３５５）を有するデバイス（例えば、図３のデバイス３００）上の例示的なユーザインタフェースを示す。デバイス３００はまた、任意選択的に、タッチ感知面４５１上の接触の強度を検出する１つ以上の接触強度センサ（例えば、センサ３５９のうちの１つ以上）、及び／又はデバイス３００のユーザに対して触知出力を生成する１つ以上の触知出力生成器３５７を含む。
【０１４０】
以下の例のうちのいくつかは、タッチスクリーンディスプレイ１１２（タッチ感知面及びディスプレイが組み合わされている）上の入力を参照して与えられるが、いくつかの実施形態では、デバイスは、図４Ｂに示すように、ディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）上の１次軸（例えば、図４Ｂの４５３）に対応する１次軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置（例えば、図４Ｂでは、４６０は４６８に対応し、４６２は４７０に対応する）で、タッチ感知面４５１との接触（例えば、図４Ｂの４６０及び４６２）を検出する。このようにして、タッチ感知面（例えば、図４Ｂの４５１）上でデバイスによって検出されるユーザ入力（例えば、接触４６０及び４６２、並びにこれらの動き）は、タッチ感知面がディスプレイとは別個であるとき、多機能デバイスのディスプレイ（例えば、図４Ｂの４５０）上のユーザインタフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
【０１４１】
加えて、以下の実施例が主として指入力（例えば、指接触、指タップジェスチャ、指スワイプジェスチャ）を参照して示されているが、いくつかの実施形態において、これらの指入力のうちの１つ以上は、別の入力デバイス（例えば、マウスに基づく入力、又はスタイラス入力）からの入力と置換されることが理解されたい。例えば、スワイプジェスチャは、任意選択的に、（例えば、接触の代わりに、）マウスクリックであって、その後に（例えば、接触の移動の代わりに）スワイプの経路に沿ったカーソルの移動を伴うマウスクリックによって置き換えられる。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置上に位置する間は、（例えば、接触を検出して、それに続いて接触の検出を停止する代わりに）マウスクリックによって置き換えられる。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、又はマウス及び指の接触が、任意選択的に、同時に使用されることを理解されたい。
【０１４２】
図５Ａは、例示的なパーソナル電子デバイス５００を示す。デバイス５００は、本体５０２を含む。いくつかの実施形態では、デバイス５００は、デバイス１００及び３００（例えば、図１Ａ〜図４Ｂ）に関して説明された特徴のうちのいくつか又は全てを含むことができる。いくつかの実施形態では、デバイス５００は、タッチ感知ディスプレイスクリーン５０４、以下ではタッチスクリーン５０４、を有する。あるいは、又はタッチスクリーン５０４に加えて、デバイス５００は、ディスプレイ及びタッチ感知面を有する。デバイス１００及び３００と同様に、いくつかの実施形態では、タッチスクリーン５０４（又はタッチ感知面）は、任意選択的に、加えられている接触（例えば、タッチ）の強度を検出する１つ以上の強度センサを含む。タッチスクリーン５０４（又はタッチ感知面）の１つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス５００のユーザインタフェースは、タッチに、その強度に基づいて応答することができ、これは、異なる強度のタッチが、デバイス５００上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
【０１４３】
タッチ強度を検出し処理する例示的な技法は、例えば、それぞれ全体が参照により本明細書に組み込まれる関連出願である、国際特許第ＷＯ／２０１３／１６９８４９号として公開された、２０１３年５月８日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０４００６１号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ  Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ  ｆｏｒ  Ｄｉｓｐｌａｙｉｎｇ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ  Ｏｂｊｅｃｔｓ  Ｃｏｒｒｅｓｐｏｎｄｉｎｇ  ｔｏ  ａｎ  Ａｐｐｌｉｃａｔｉｏｎ」、及び国際特許第ＷＯ／２０１４／１０５２７６号として公開された、２０１３年１１月１１日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０６９４８３号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ  Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ  ｆｏｒ  Ｔｒａｎｓｉｔｉｏｎｉｎｇ  Ｂｅｔｗｅｅｎ  Ｔｏｕｃｈ  Ｉｎｐｕｔ  ｔｏ  Ｄｉｓｐｌａｙ  Ｏｕｔｐｕｔ  Ｒｅｌａｔｉｏｎｓｈｉｐｓ」に見いだされる。
【０１４４】
いくつかの実施形態では、デバイス５００は、１つ以上の入力機構５０６及び５０８を有する。入力機構５０６及び５０８は、含まれる場合、物理的であり得る。物理的入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。いくつかの実施形態では、デバイス５００は、１つ以上のアタッチメント機構を有する。そのようなアタッチメント機構は、含まれる場合、例えば帽子、眼鏡類、イアリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計のバンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどにデバイス５００を取り付けることを可能にすることができる。これらのアタッチメント機構は、ユーザがデバイス５００を着用することを可能にする。
【０１４５】
図５Ｂは、例示的なパーソナル電子デバイス５００を示す。いくつかの実施形態では、デバイス５００は、図１Ａ、図１Ｂ、及び図３に関して説明した構成要素のうちのいくつか又は全てを含むことができる。デバイス５００は、Ｉ／Ｏセクション５１４を１つ以上のコンピュータプロセッサ５１６及びメモリ５１８に動作可能に結合するバス５１２を有する。Ｉ／Ｏセクション５１４は、ディスプレイ５０４に接続することができ、ディスプレイ５０４は、タッチ感知構成要素５２２、及び任意選択的に強度センサ５２４（例えば、接触強度センサ）を有することができる。加えて、Ｉ／Ｏセクション５１４は、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（ＮＦＣ）、セルラー、及び／又は他の無線通信技法を使用してアプリケーション及びオペレーティングシステムデータを受信する通信ユニット５３０と接続することができる。デバイス５００は、入力機構５０６及び／又は５０８を含むことができる。入力機構５０６は、任意選択的に、例えば回転可能入力デバイス又は押下可能及び回転可能入力デバイスである。いくつかの例では、入力機構５０８は、任意選択的にボタンである。
【０１４６】
いくつかの例では、入力機構５０８は、任意選択的にマイクロフォンである。パーソナル電子デバイス５００は、任意選択的に、ＧＰＳセンサ５３２、加速度計５３４、方向センサ５４０（例えば、コンパス）、ジャイロスコープ５３６、動きセンサ５３８、及び／又はそれらの組み合わせなどの様々なセンサを含み、それらは全て、Ｉ／Ｏセクション５１４に動作可能に接続することができる。
【０１４７】
パーソナル電子デバイス５００のメモリ５１８は、コンピュータ実行可能命令を記憶するための１つ以上の非一時的コンピュータ可読記憶媒体を含むことができ、それらの命令は、１つ以上のコンピュータプロセッサ５１６によって実行されると、例えば、コンピュータプロセッサに、プロセス７００、９００及び１１００（図７Ａ〜図７Ｂ、図９Ａ〜図９Ｂ及び図１１）を含めた、以下に説明する技法を実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって、又は命令実行システム、装置、若しくはデバイスに関連して、使用されるコンピュータ実行可能命令を、有形に含み又は記憶することができる任意の媒体であり得る。いくつかの実施例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの実施例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、それらに限定されるものではないが、磁気、光学、及び／又は半導体記憶装置を含むことができる。そのような記憶装置の例としては、磁気ディスク、ＣＤ、ＤＶＤ、又はＢｌｕ−ｒａｙ技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの常駐ソリッドステートメモリなどが挙げられる。パーソナル電子デバイス５００は、図５Ｂの構成要素及び構成に限定されるものではなく、他の又は追加の構成要素を複数の構成で含むことができる。
【０１４８】
本明細書で使用されるとき、「アフォーダンス」という用語は、任意選択的に、デバイス１００、３００、及び／又は５００（図１Ａ、図３、及び図５Ａ〜図５Ｂ）のディスプレイスクリーンに表示されるユーザ対話グラフィカルユーザインタフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン、及びテキスト（例えば、ハイパーリンク）はそれぞれ、任意選択的に、アフォーダンスを構成する。
【０１４９】
本明細書で使用されるとき、用語「フォーカスセレクタ」は、ユーザが対話しているユーザインタフェースの現在の部分を指示する入力要素を指す。カーソル又は他の位置マーカを含むいくつかの実装形態では、カーソルが「フォーカスセレクタ」として作用し、したがってカーソルが特定のユーザインタフェース要素（例えば、ボタン、ウインドウ、スライダ、又は他のユーザインタフェース要素）の上に位置する間に、入力（例えば、押下入力）がタッチ感知面（例えば、図３のタッチパッド３５５又は図４Ｂのタッチ感知面４５１）上で検出されたとき、特定のユーザインタフェース要素は、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接対話を可能にするタッチスクリーンディスプレイ（例えば、図１Ａのタッチ感知ディスプレイシステム１１２又は図４Ａのタッチスクリーン１１２）を含むいくつかの実装形態では、タッチスクリーン上の検出された接触が「フォーカスセレクタ」として作用し、したがってタッチスクリーンディスプレイ上の特定のユーザインタフェース要素（例えば、ボタン、ウインドウ、スライダ、又は他のユーザインタフェース要素）の位置で入力（例えば、接触による押下入力）が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。いくつかの実装形態では、（例えば、フォーカスを１つのボタンから別のボタンへ動かすためにタブキー又は矢印キーを使用することによって）タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、フォーカスがユーザインタフェースの１つの領域からユーザインタフェースの別の領域に動かされ、これらの実装形態では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタがとる具体的な形態にかかわらず、フォーカスセレクタは、一般に、ユーザが意図するユーザインタフェースとの対話について（例えば、ユーザがそれを通じて対話することを意図しているユーザインタフェースの要素をデバイスに示すことによって）伝えるためにユーザによって制御されるユーザインタフェース要素（又はタッチスクリーンディスプレイ上の接触）である。例えば、タッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で押圧入力が検出されている間の、対応のボタンの上のフォーカスセレクタ（例えば、カーソル、接触、又は選択ボックス）の位置は、その対応のボタンを（そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく）アクティブ化することをユーザが意図していることを示すものである。
【０１５０】
本明細書及び特許請求の範囲において使用されるとき、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく、その接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、すなわち、既定のイベント（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、及び／又は、接触の強度の減少を検出する前若しくは後の）に関連する所定の時間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）の間に収集された強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均（mean）値、接触の強度の平均（average）値、接触の強度の上位１０パーセンタイル値、接触の強度の最大の２分の１の値、接触の強度の最大の９０パーセントの値などのうちの１つ以上に基づいている。いくつかの実施形態では、特性強度を判定する際に（例えば、特性強度が経時的な接触の強度の平均であるときに）、接触の持続期間が使用される。いくつかの実施形態では、特性強度は、動作がユーザにより実行されたかどうかを判定するために、１つ以上の強度閾値のセットと比較される。例えば、１つ以上の強度閾値のセットは、任意選択的に、第１の強度閾値及び第２の強度閾値を含む。この例では、第１の閾値を超えない特性強度を有する接触は第１の動作をもたらし、第１の強度閾値を超えるが第２の強度閾値を超えない特性強度を有する接触は第２の動作をもたらし、第２の閾値を超える特性強度を有する接触は第３の動作をもたらす。いくつかの実施形態では、特性強度と１つ以上の閾値との間の比較は、第１の動作を実行するべきか、それとも第２の動作を実行するべきかを判定するために使用されるのではなく、１つ以上の動作を実行するべきか否か（例えば、それぞれの動作を実行するべきか、それともそれぞれの動作を実行するのを見送るべきか）を判定するために使用される。
【０１５１】
いくつかの実施形態では、特性強度を判定する目的のために、ジェスチャの一部分が特定される。例えば、タッチ感知面は、任意選択的に、開始位置から遷移して終了位置に到達し、その位置で接触の強度が増大している、連続するスワイプ接触を受信する。この例では、終了位置での接触の特性強度は、任意選択的に、スワイプ接触全体ではなく、連続するスワイプ接触の一部分のみ（例えば、スワイプ接触のうち終了位置の部分のみ）に基づいている。いくつかの実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムがスワイプ接触の強度に適用される。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を判定する目的のために、スワイプ接触強度の幅の狭いスパイク又は下落を排除する。
【０１５２】
タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押下強度閾値、深い押下強度閾値、及び／又は１つ以上の他の強度閾値などの１つ以上の強度閾値に対して特徴付けられる。いくつかの実施形態では、軽い押下強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作をデバイスが実行する強度に相当する。いくつかの実施形態では、深い押下強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作とは異なる動作をデバイスが実行する強度に相当する。いくつかの実施形態では、軽い押下強度閾値を下回る（例えば、かつそれを下回ると接触が検出されなくなる公称接触検出強度閾値を上回る）特性強度を有する接触が検出されたとき、デバイスは、タッチ感知面上の接触の移動に従い、軽い押下強度閾値又は深い押下強度閾値に関連付けられた動作を実行することなく、フォーカスセレクタを動かす。一般に、特に明記しない限り、これらの強度閾値は、ユーザインタフェースの値の様々なセットの間で一貫している。
【０１５３】
軽い押下強度閾値を下回る強度から、軽い押下強度閾値と深い押下強度閾値との間の強度への、接触の特性強度の増大は、「軽い押下」の入力と呼ばれることがある。深い押下強度閾値を下回る強度から、深い押下強度閾値を上回る強度への、接触の特性強度の増大は、「深い押下」の入力と呼ばれることがある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押下強度閾値との間の強度への、接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれることがある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への、接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれることがある。いくつかの実施形態では、接触検出強度閾値はゼロである。いくつかの実施形態では、接触検出強度閾値はゼロより大きい。
【０１５４】
本明細書に記載するいくつかの実施形態では、それぞれの押下入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（若しくは複数の接触）によって実行されたそれぞれの押下入力を検出したことに応じて、１つ以上の動作が実行され、それぞれの押下入力は、押下入力強度閾値を上回る接触（又は複数の接触）の強度の増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの動作は、押下入力強度閾値を上回るそれぞれの接触の強度の増大（例えば、それぞれの押下入力の「ダウンストローク」）を検出したことに応じて実行される。いくつかの実施形態では、押下入力は、押下入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押下入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続く押下入力閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押下入力の「アップストローク」）を検出したことに応じて実行される。
【０１５５】
いくつかの実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押下入力強度閾値との既定の関係を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押下入力強度閾値よりもＸ強度単位低い、又はヒステリシス強度閾値は、押下入力強度閾値の７５％、９０％、若しくは何らかの妥当な割合である）。したがって、いくつかの実施形態では、押下入力は、押下入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押下入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続くヒステリシス強度閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押下入力の「アップストローク」）を検出したことに応じて実行される。同様に、いくつかの実施形態では、押下入力は、デバイスが、ヒステリシス強度閾値以下の強度から押下入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、その後のヒステリシス強度以下の強度への接触の強度の減少を検出するときにのみ検出され、それぞれの動作は、押下入力（例えば、状況に応じて、接触の強度の増大又は接触の強度の減少）を検出したことに応じて実行される。
【０１５６】
説明を容易にするために、押下入力強度閾値に関連付けられた押下入力、又は押下入力を含むジェスチャに応じて実行される動作の説明は、任意選択的に、押下入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押下入力強度閾値を上回る強度への接触の強度の増大、押下入力強度閾値を下回る接触の強度の減少、及び／又は押下入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じてトリガされる。更に、押下入力強度閾値を下回る接触の強度の減少を検出したことに応じて実行されるように動作が記載される例では、動作は、任意選択的に、押下入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。
【０１５７】
次に、ポータブル多機能デバイス１００、デバイス３００、又はデバイス５００などの電子デバイス上で実施されるユーザインタフェース（「ＵＩ」）及び関連プロセスの実施形態に注意を向ける。
【０１５８】
図６Ａ〜図６Ｔは、いくつかの実施形態に係る、シミュレートされた深度効果（例えば、ボケ効果）を調整するための例示的なユーザインタフェースを示す。それらの図におけるユーザインタフェースは、図７Ａ〜図７Ｂにおける処理を含む、以下で説明される処理を例示するために使用される。
【０１５９】
図６Ａは、電子デバイス６００（例えば、スマートフォン）の正面図６００Ａ及び背面図６００Ｂを示す。電子デバイス６００は、（例えば、タッチ感知面と一体化された）ディスプレイ６０２、入力デバイス６０４（例えば、機械式入力ボタン、押下可能入力ボタン）、（例えば、１つ以上の前面カメラを含む）前面センサ６０６、及び（例えば、１つ以上の背面カメラを含む）背面センサ６０８を含む。いくつかの実施形態では、電子デバイス６００はまた、１つ以上のバイオメトリックセンサ（例えば、指紋センサ、顔認識センサ、虹彩／網膜スキャナ）も含む。
【０１６０】
電子デバイス６００は、任意選択的に、（例えば、図１Ａを参照して説明された１つ以上の深度カメラセンサ１７５と同様の）１つ以上の深度カメラセンサを含む。１つ以上の深度カメラセンサは、環境からデータを受信して、視点（例えば、深度カメラセンサ）からのシーン内のオブジェクト（例えば、顔面）の３次元モデルを作成する。いくつかの実施形態では、（例えば、図１Ａを参照して説明され、カメラモジュールとも呼ばれる撮像モジュール１４３と同様の）撮像モジュールと連携して、１つ以上の深度カメラセンサは任意選択的に、撮像モジュールによってキャプチャされた画像の異なる部分の深度マップを決定するために使用される。いくつかの実施形態では、１つ以上の深度カメラセンサは、デバイスの前面に配置されているので、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で閲覧する間に、深度情報を有するユーザの画像が、任意選択的に、テレビ会議のために取得され、深度マップデータを有する自撮り画像をキャプチャする。いくつかの実施形態では、１つ以上の深度カメラセンサは、デバイスの背面に、又はデバイスの背面及び前面に配置される。いくつかの実施形態では、１つ以上の深度カメラセンサの位置（単数又は複数）は、ユーザによって（例えば、デバイスハウジング内でレンズ及びセンサを回転させることによって）変更することができ、したがって深度カメラセンサが、タッチスクリーンディスプレイとともに、テレビ会議にも静止画像及び／又はビデオの取得にも使用される。いくつかの実施形態では、１つ以上の深度カメラセンサは、前面カメラ６０６及び／又は背面カメラ６０８と統合される。
【０１６１】
いくつかの実施形態では、深度マップ（例えば、深度マップ画像）は、視点（例えば、カメラ、光センサ、深度カメラセンサ）からのシーン内のオブジェクトの距離に関する情報（例えば、値）を含む。深度マップの一実施形態では、各深度画素は、その対応する２次元画素が位置する、視点のＺ軸内の位置を規定する。いくつかの実施形態では、深度マップは画素で構成されており、各画素は、値（例えば、０〜２５５）によって定義される。例えば、値「０」は、「３次元」シーン内で最も遠い場所に位置している画素を表し、値「２５５」は、その「３次元」シーン内で視点（例えば、カメラ、光センサ、深度カメラセンサ）の最も近くに位置している画素を表す。他の実施形態では、深度マップは、シーン内のオブジェクトと視点の平面との間の距離を表す。いくつかの実施形態では、深度マップは、深度カメラから見た、関心対象物の様々な特徴部の相対深度（例えば、ユーザの顔面の目、鼻、口、耳の相対深度）に関する情報を含む。いくつかの実施形態では、深度マップは、関心対象物のｚ方向における輪郭をデバイスが判定することを可能にする、情報を含む。
【０１６２】
図６Ａでは、電子デバイス６００は、画像キャプチャアプリケーション（例えば、カメラアプリケーション、画像／写真キャプチャ及び編集アプリケーション）を起動するためのアフォーダンス６１２を含むユーザインタフェース６１０（例えば、ロックスクリーンユーザインタフェース）をディスプレイ６０２上に表示する。ユーザインタフェース６１０を表示している間に、電子デバイス６００は、アフォーダンス６１２のアクティブ化６０１（例えば、アフォーダンス６１２上のタップジェスチャ）を（例えば、ディスプレイ６０２のタッチ感知面を介して）検出する。
【０１６３】
図６Ｂでは、アクティブ化６０１を検出したことに応じて、電子デバイス６００は、画像キャプチャアプリケーションのユーザインタフェース６１４をディスプレイ６０２上に表示する。この例では、画像キャプチャアプリケーションは写真モードである。画像キャプチャアプリケーションのユーザインタフェース６１４を表示している間に、電子デバイス６００は、背面カメラ６０８を介して、背面カメラ６０８の視野内の環境に対応する画像データを受信する。いくつかの実施例では、画像キャプチャアプリケーションが背面モードとは対向した前面モードになっている場合、電子デバイス６００は、前面カメラ６０６を介して、前面カメラ６０６の視野内の環境に対応する画像データを受信する。
【０１６４】
電子デバイス６００は、画像キャプチャアプリケーションのユーザインタフェース６１４の画像表示領域６１６に、背面カメラ６０８を介して受信した画像データの画像表現６１８を表示する。この例では、画像表現６１８は、被写体６２０（例えば、人物の顔面、及び人物の上半身の少なくとも一部分を含む人物のビュー）を含む。この例では、画像表現６１８はまた、（実際の環境内の実際の発光オブジェクトに対応する）発光オブジェクト６２２Ａ、（実際の環境内の実際の発光オブジェクトに対応する）発光オブジェクト６２２Ｂ、及び（実際の環境内の実際の発光オブジェクトに対応する）発光オブジェクト６２２Ｃを含む。この例では、画像表現６１８はまた、（実際の環境内の実際の非発光オブジェクトに対応する）非発光オブジェクト６２４も含む。
【０１６５】
画像キャプチャアプリケーションのユーザインタフェース６１４は、第１のメニュー領域６２８Ａ及び第２のメニュー領域６２８Ｂも含む。第１のメニュー領域６２８Ａは、画像効果及び／又は特性を調整することに関連付けられた複数のアフォーダンスを含む。第２のメニュー領域６２８Ｂは、複数の画像キャプチャモードオプション（例えば、写真モード、ビデオモード、ポートレートモード、スクエアモード、スローモーションモード）を含む。図６Ｂでは、電子デバイス６００は、ポートレートモードに対応するポートレートモードアフォーダンス６２６のアクティブ化６０３を（例えば、ディスプレイ６０２のタッチ感知面を介して）検出する。
【０１６６】
図６Ｃでは、ポートレートモードアフォーダンス６２６のアクティブ化６０３を検出したことに応じて、電子デバイス６００は、画像キャプチャアプリケーションの現在の画像キャプチャモードを、写真モードからポートレートモードに変更する。ポートレートモードでは、電子デバイス６００は、（例えば、ｆストップ（f-stop）、ｆ比（f-ratio）、又は焦点比としても知られるシミュレートされたｆ値を調整することによって、画像表現６１８の被写界深度を調整するための）深度効果アフォーダンス６３０を、ユーザインタフェース６１４の第１のメニュー領域６２８Ａ内に表示する。
【０１６７】
更に、ポートレートモードでは、電子デバイス６００は、シミュレートされた深度効果（例えば、ボケ効果、被写界深度効果、デフォルトの４．５ｆ値数を有する）を画像表示領域６１６に表示された画像表現６１８に適用する。いくつかの実施形態では、シミュレートされた深度効果は、被写体６２０を焦点として画像表現６１８の背景に適用される。いくつかの実施形態では、シミュレートされた深度効果は、被写体６２０内の焦点（例えば、被写体６２０の鼻などの被写体６２０の顔面の中心領域）に基づいて画像表現６１８全体に適用される。
【０１６８】
図６Ｃに示すように、シミュレートされた深度効果が適用されると、画像表現６１８内のオブジェクトの被写界深度特性は、特定のオブジェクトの１つ以上の特性（例えば、オブジェクトが発光オブジェクトに対応するか、又は非発光オブジェクトに対応するかといったオブジェクトの種類、オブジェクトの形状、オブジェクトの焦点からの距離）に基づいて調整される。例えば、画像表現６１８内の発光オブジェクト６２２Ａ、６２２Ｂ及び６２２Ｃの被写界深度特性は、（例えば、発光オブジェクトが、非発光オブジェクトよりもぼかされ、より大きく、より明るい、彩度がより高く、かつ／又はより歪んだ形状を有するように見えるように）画像表現６１８内の非発光オブジェクト６２４に対して、より劇的に調整される。オブジェクトの１つ以上の特性に基づいてオブジェクトの被写界深度特性を調整することは、図８Ａ〜図８Ｒのユーザインタフェースを参照して以下でより詳細に説明される。
【０１６９】
図６Ｄでは、ポートレートモード中に、電子デバイス６００は、深度効果アフォーダンス６３０のアクティブ化６０５（例えば、深度効果アフォーダンス６３０上のタップジェスチャ）を（例えば、ディスプレイ６０２のタッチ感知面を介して）検出する。いくつかの実施形態では、電子デバイス６００は、アフォーダンスのアクティブ化を検出すると、深度効果アフォーダンスの視覚特性を変更する（例えば、アフォーダンスの色を変更する）。あるいは、図６Ｅでは、ポートレートモード中に、電子デバイス６００は、画像表示領域６１６内のスワイプジェスチャ６０７（例えば、垂直スワイプジェスチャ、スワイプアップジェスチャ）を（例えば、ディスプレイ６０２のタッチ感知面を介して）検出する。
【０１７０】
図６Ｆでは、画像表示領域６１６上の深度効果アフォーダンス６３０のアクティブ化６０５又はスワイプジェスチャ６０７を検出したことに応じて、電子デバイス６００は、（第１のメニュー領域６２８Ａが垂直に狭くなり、第２のメニュー領域６２８Ｂが垂直に幅広になるように）ユーザインタフェース６１４内で上向きに画像表示領域６１６をシフトさせて、第２のメニュー領域６２８Ｂ内に深度調整スライダ６３２を表示する。
【０１７１】
深度調整スライダ６３２は、ｆ値に対応する複数の目盛り６３４、及び現在選択された目盛り（したがって、現在選択されたｆ値）を示す指針６３６を含む。深度調整スライダ６３２はまた、現在選択されたｆ値の値を示すｆ値インジケータ６３８（例えば、指針６３６の上又は隣接して位置する）も含む。前述のように、いくつかの実施形態では、デフォルトのｆ値は４．５である。いくつかの実施形態では、ｆ値インジケータ６３８内に現在のｆ値を表示することに加えて、電子デバイス６００はまた、深度効果アフォーダンス６３０内に現在のｆ値も表示する。
【０１７２】
図６Ｇでは、深度調整スライダ６３２を表示している間に、電子デバイス６００は、深度調整スライダ６３２上で（例えば、目盛り６３４上ので）スワイプジェスチャ６０９（例えば、水平スワイプジェスチャ、右スワイプジェスチャ）を（例えば、ディスプレイ６０２のタッチ感知面を介して）検出する。いくつかの実施例では、目盛り６３４は、スワイプジェスチャ６０９に応じて（水平に）シフトされ、指針６３６は固定されたままである。いくつかの実施例では、指針６３６は、深度調整スライダ６３２上のスワイプジェスチャに応じて、固定された目盛り６３４の上でシフトされる。
【０１７３】
図６Ｈでは、スワイプジェスチャ６０９を検出したことに応じて、電子デバイス６００は、画像表現６１８の焦点（例えば、被写体６２０の鼻）に基づいて、画像表現６１８内でオブジェクト（例えば、発光オブジェクト６２２Ａ、６２２Ｂ及び６２２Ｃ並びに非発光オブジェクト６２４）の被写界深度特性を調整する。
【０１７４】
ｆ値インジケータ６３８によって（いくつかの実施形態では、深度効果アフォーダンス６３０によっても）示されるように、スワイプジェスチャ６０９の結果として現在のｆ値（３．９）は、以前の（デフォルトの）ｆ値（４．５）から減少する。発光オブジェクト６２２Ａ、６２２Ｂ及び６２２Ｃは、（４．５ｆ値を有する）図６Ｇよりも（３．９ｆ値を有する）図６Ｈにおいてぼかされ、より大きく、より明るく、より彩度が高く、かつ／又はより歪んだ形状を有し、同様に、非発光オブジェクト６２４は、図６Ｇよりも図６Ｈにおいてよりぼかされ、より大きく、より大きく、より彩度が高く、かつ／又はより歪んだ形状を有する。以前のｆ値（４．５）から低いｆ値（３．９）へのオブジェクトのぼやけ度、サイズ、輝度、彩度、及び／又は形状歪みの程度における変化の程度は、非発光オブジェクトと比較して、発光オブジェクトに対してより劇的である。
【０１７５】
更に、各オブジェクトの形状は、画像表現６１８の焦点（例えば、被写体６２０の鼻）からの各オブジェクトの距離に基づいて更に歪曲される（例えば、画像表現６１８が、焦点が平面の中心であるｘ、ｙ平面と見なされる場合、距離は、オブジェクトの中心から平面の中心までの直線距離として測定される）。例えば、オブジェクト６２２Ｂ−１の形状歪みの程度は、オブジェクト６２２Ｂ−２の形状歪みの程度よりも（例えば、オブジェクトは円形が少なくなり、楕円形が大きくなり／より伸張されるように）劇的である。同様に、オブジェクト６２２Ｃ−１の形状歪みの程度は、オブジェクト６２２Ｃ−２の形状歪みの程度よりも（例えば、オブジェクトは円形が少なく、楕円形が大きくなり／より伸張されるように）劇的である。上述したように、画像表現内のオブジェクトの被写界深度特性の変化は、図８Ａ〜図８Ｒを参照して以下でより詳細に説明される。
【０１７６】
図６Ｈでは、電子デバイス６００は、深度調整スライダ６３２上のスワイプジェスチャ６１１（例えば、スワイプジェスチャ６０９の継続）を（例えば、ディスプレイ６０２のタッチ感知面を介して）検出する。
【０１７７】
図６Ｉでは、スワイプジェスチャ６１１を検出したことに応じて、電子デバイス６００は、画像表現６１８の焦点（例えば、被写体６２０の鼻）に基づいて、画像表現６１８内でオブジェクト（例えば、発光オブジェクト６２２Ａ、６２２Ｂ及び６２２Ｃ並びに非発光オブジェクト６２４）の被写界深度特性を更に調整する。
【０１７８】
ｆ値インジケータ６３８によって（及び、いくつかの実施形態では、深度効果アフォーダンス６３０によっても）示されるように、スワイプ６１１の結果として現在のｆ値（１．６）は、以前のｆ値（３．９）から更に減少する。発光オブジェクト６２２Ａ、６２２Ｂ、及び６２２Ｃは、（３．９ｆ値を有する）図６Ｈよりも、（１．６ｆ値を有する）図６Ｉにおいて、よりぼかされ、より大きく、より明るく、より彩度が高く、かつ／又はより歪んだ形状を有し、同様に、非発光オブジェクト６２４は、図６Ｈよりも図６Ｉにおいてよりぼかされ、より大きく、より明るい、より彩度が高く、及び／又はより歪んだ形状を有する。前のｆ値（３．９）から低いｆ値（１．６）へのオブジェクトのぼやけ、サイズ、輝度、彩度、及び／又は形状歪みの程度における変化の程度は、非発光オブジェクトと比較して、発光オブジェクトに対してより劇的である。
【０１７９】
図６Ｊでは、画像表示領域６１６内で、背面カメラ６０８を介して検出された画像データに対応する画像表示６１８を表示している間に、かつ、シミュレートされた被写界深度が図６Ｉで事前に設定されたように（ｆ値インジケータ１．６によって示されるように）１．６ｆ値に設定される間、電子デバイス６００は、画像キャプチャアフォーダンス６４０のアクティブ化６１３（例えば、画像キャプチャアフォーダンス６４０上のタップジェスチャ）を（例えば、ディスプレイ６０２のタッチ感知面を介して）検出する。
【０１８０】
画像キャプチャアフォーダンス６４０のアクティブ化６１３を検出したことに応じて、電子デバイス６００は、（１．６ｆ値を有する）シミュレートされた画像効果を有する画像表現６１８に対応する画像データを（例えば、デバイスのローカルメモリ及び／又はデバイスによってアクセス可能なリモートサーバ内に）記憶する。
【０１８１】
図６Ｋでは、電子デバイス６００は、記憶された画像アフォーダンス６４２のアクティブ化６１５（例えば、記憶された画像アフォーダンス６４２上のタップジェスチャ）を（例えば、ディスプレイ６０２のタッチ感知面を介して）検出する。
【０１８２】
図６Ｌでは、記憶された画像アフォーダンス６４２のアクティブ化６１５を検出したことに応じて、電子デバイスは、記憶された画像アプリケーションのユーザインタフェース６４４をディスプレイ６０２上に表示する。ユーザインタフェース６４４は、記憶された画像を表示するための画像表示領域６４６を含む。図６Ｌでは、電子デバイス６００は、図６Ｊでキャプチャされた画像表現６１８に対応する記憶された画像表現６４８を画像表示領域６４６内に表示する。画像表現６１８と同様に、記憶された画像表現６４８は、（被写体６２０に対応する）被写体６５０、（発光オブジェクト６２２Ａに対応する）発光オブジェクト６５２Ａ、（発光オブジェクト６２２Ｂに対応する）発光オブジェクト６５２Ｂ、（発光オブジェクト６２２Ｃに対応する）発光オブジェクト６５２Ｃ、及び（非発光オブジェクト６２４に対応する）非発光オブジェクト６５４を含む。更に、（図６Ｊで）キャプチャされた場合の画像表現６１８と同様に、記憶された画像表現６４８は、１．６ｆ値でシミュレートされた被写界深度設定で調整される。
【０１８３】
図６Ｌでは、記憶された画像表現６４８を表示している間に、電子デバイス６００は、ユーザインタフェース６４４の編集アフォーダンス６５６のアクティブ化６１７（例えば、編集アフォーダンス６５６上のタップジェスチャ）を（例えば、ディスプレイ６０２のタッチ感知面を介して）検出する。
【０１８４】
図６Ｍでは、編集アフォーダンス６５６のアクティブ化６１７を検出したことに応じて、電子デバイス６００は、（例えば、記憶された画像表現を示す画像表示領域６４６の下のユーザインタフェース６４４のメニュー領域内に）（ｆ値インジケータ６３８によって示されるような１．６ｆ値に設定された）深度調整スライダ６３２を表示する。いくつかの実施例では、（例えば、図６Ｆを参照して説明されているように、画像表示領域６１６が上向きにシフトするのと同様に）画像表示領域６４６は、ユーザインタフェース６４４内で上向きにシフトして、深度調整スライダ６３２を表示する。電子デバイス６００はまた、（例えば、記憶された画像表現を示す画像表示領域６４６の上のユーザインタフェース６４４の領域内に）、現在表示された記憶画像表現（記憶された画像表現６４８）がシミュレートされた深度効果で調整されていることを示す深度効果インジケータ６５８を表示する。
【０１８５】
図６Ｎでは、深度調整スライダ６３２を表示している間に、電子デバイス６００は、深度調整スライダ６３２上で（例えば、目盛り６３４の上で）スワイプジェスチャ６１９（例えば、水平スワイプジェスチャ、左スワイプジェスチャ）を、（例えば、ディスプレイ６０２のタッチ感知面を介して）検出する。いくつかの実施例では、目盛り６３４は、スワイプジェスチャ６１９に応じて（水平に）シフトされ、指針６３６は固定されたままである。いくつかの実施例では、指針６３６は、深度調整スライダ６３２上のスワイプに応じて固定された目盛り６３４の上でシフトされる。
【０１８６】
図６Ｏでは、スワイプジェスチャ６１９を検出したことに応じて、電子デバイス６００は、記憶された画像表現６４８の焦点（例えば、被写体６５０の鼻）に基づいて、記憶された画像表現６４８内のオブジェクト（例えば、発光オブジェクト６５２Ａ、６５２Ｂ及び６５２Ｃ、並びに非発光オブジェクト６５４）の被写界深度特性を調整する。
【０１８７】
ｆ値インジケータ６３８によって示されるように、スワイプジェスチャ６１９の結果として現在のｆ値（４．９）は、以前の（保存された）ｆ値（１．６）から増加する。したがって、発光オブジェクト６５２Ａ、６５２Ｂ及び６５２Ｃは、（１．６ｆ値を有する）図６Ｎよりも、（４．９ｆ値を有する）図６Ｏにおいて、ぼかしがより少なく、より小さく、輝度がより低く、彩度がより低く、かつ／又は歪みが小さい形状（及びより「鮮明な」）を有し、同様に、非発光オブジェクト６５４は、図６Ｎよりも、図６Ｏにおいて、ぼやけがより少なく、より小さく、輝度がより低く、彩度がより低く、かつ／又は歪みがより小さい形状を有し、むしろより鮮明である。以前のｆ値（１．６）から高いｆ値（４．９）までのオブジェクトのぼやけ度、サイズ、輝度、彩度、及び／又は形状歪みの程度（及び鮮明度の増加）における変化の程度は、非発光オブジェクトと比較して、発光オブジェクトに対してより劇的である。上述したように、画像表現内のオブジェクトの被写界深度特性の変化は、図８Ａ〜図８Ｒを参照して以下でより詳細に説明される。
【０１８８】
図６Ｏでは、電子デバイス６００は、深度調整スライダ６３２上のスワイプジェスチャ６２１（例えば、スワイプジェスチャ６１９の継続）を（例えば、ディスプレイ６０２のタッチ感知面を介して）検出する。
【０１８９】
図６Ｐでは、スワイプジェスチャ６２１を検出したことに応じて、電子デバイス６００は、記憶された画像表現６４８の焦点（例えば、被写体６５０の鼻）に基づいて、記憶された画像表現６４８内のオブジェクト（例えば、発光オブジェクト６５２Ａ、６５２Ｂ及び６５２Ｃ並びに非発光オブジェクト６５４）の被写界深度特性を更に調整する。
【０１９０】
ｆ値インジケータ６３８によって示されるように、スワイプジェスチャ６２１の結果として現在のｆ値（８．７）は以前のｆ値（４．９）から増加する。したがって、発光オブジェクト６５２Ａ、６５２Ｂ、及び６５２Ｃは、（４．９  ｆ値を有する）図６Ｏよりも、（８．７ｆ値を有する）図６Ｐにおいて、ぼやけが少なく、より小さく、輝度がより低く、彩度がより低く、かつ／又は歪みが小さい形状であり（かつ、より鮮明であり、したがって、画像歪みがない実際の形状により近い）、同様に、非発光オブジェクト６５４は、図６Ｏよりも、図６Ｐにおいて、ぼやけがより少なく、より小さく、輝度がより低く、彩度がより低く、及び／又は歪みが小さい形状である（かつ、より鮮明であり、したがって、画像歪みがない実際の形状により近い）。以前のｆ値（５）からより高いｆ値（１０）へのぼやけ度、サイズ、輝度、彩度、及び／又はオブジェクトの形状歪みの程度（及び鮮明度の増加）における変化の程度は、非発光オブジェクトと比較して、発光オブジェクトに対してより劇的である。上述したように、画像表現内のオブジェクトの被写界深度特性の変化は、図８Ａ〜図８Ｒを参照して以下でより詳細に説明される。
【０１９１】
図６Ｑは、画像キャプチャアプリケーションの設定ユーザインタフェース６６０をディスプレイ６０２に表示する電子デバイス６００を示す。図６Ｑでは、設定ユーザインタフェース６６０を表示している間に、電子デバイスは、設定ユーザインタフェース６６０の保存設定アフォーダンス６６２のアクティブ化６２３（例えば、設定アフォーダンス６６２を保存するタップジェスチャ）を（例えば、ディスプレイ６０２のタッチ感知面を介して）検出する。
【０１９２】
図６Ｒでは、保存設定アフォーダンス６６２のアクティブ化６２３を検出したことに応じて、電子デバイス６００は、画像キャプチャアプリケーション及び記憶された画像アプリケーションに関連付けられた保存設定ユーザインタフェース６６４をディスプレイ６０２上に表示する。保存設定ユーザインタフェース６６４は、クリエイティブ制御をアクティブ化又は非アクティブ化するための、クリエイティブ制御オプション６６６（例えば、対応するトグル６６８を有する）を含む。いくつかの実施形態では、クリエイティブ制御がアクティブである場合、電子デバイス６００は、（以前に設定されたｆ値などの以前に設定された画像効果設定が自動的に再ロードされ、表示された画像表現に適用されるように）画像キャプチャアプリケーション及び／又は記憶された画像アプリケーションが閉じられ、かつ再起動されるとき、（例えば、シミュレートされた深度効果設定を含む）以前に設定された画像効果設定を保存する。いくつかの実施形態では、クリエイティブ制御が非アクティブである場合、電子デバイス６００は、以前に設定された画像効果設定を保存せず、画像キャプチャアプリケーション及び／又は記憶された画像アプリケーションが再起動されると、（深度効果設定を含む）画像効果設定がデフォルト値に復元される。
【０１９３】
図６Ｓは、ディスプレイ６７２及び前面カメラ６７４を有する電子デバイス６７０（例えば、ラップトップコンピュータ）を示す。いくつかの実施形態では、電子デバイス６７０はまた、背面カメラを含む。
【０１９４】
図６Ｓでは、電子デバイス６７０は、（例えば、画像キャプチャアプリケーション又は記憶された画像アプリケーションに対応する）画像アプリケーションのユーザインタフェース６７６をディスプレイ６７２に表示し、画像表現６１８に対応する画像表現６７８がユーザインタフェース６７６内に表示される。電子デバイス６７０はまた、ユーザインタフェース６７６内に（例えば、画像表現６７８の下に）、深度調整スライダ６３２と同様の深度調整スライダ６８０を表示する。深度調整スライダ６８０は、ｆ値に対応する複数の目盛り６８２、及び現在選択された目盛り（したがって、現在選択されたｆ値）を示す指針６８４を含む。深度調整スライダ６８０はまた、現在選択されたｆ値の値を示すｆ値インジケータ６８６（例えば、スライダに隣接して位置する）も含む。いくつかの実施例では、カーソル６８８を使用して目盛り６８２上にわたって指針６８４をナビゲートし、それによって、画像表示６７８のシミュレートされた深度効果を調整するようにｆ値を変更することができる。
【０１９５】
図６Ｔは、ディスプレイ６９２を有する電子デバイス６９０（例えば、タブレットコンピュータ、タッチ感知ディスプレイを有するラップトップコンピュータ）を示す。いくつかの実施形態では、電子デバイス６９０はまた、前面カメラ及び／又は背面カメラを含む。
【０１９６】
図６Ｔでは、電子デバイス６９０は、（例えば、画像キャプチャアプリケーション又は記憶された画像アプリケーションに対応する）画像アプリケーションのユーザインタフェース６９４をディスプレイ６９２に表示し、画像表現６１８に対応する画像表現６９６がユーザインタフェース６９４に表示される。電子デバイス６９０はまた、ユーザインタフェース６９４内に（例えば、画像表現６９６に隣接して）、深度調整スライダ６３２と同様の深度調整スライダ６９８を（例えば、垂直方向に）表示する。深度調整スライダ６９８は、ｆ値に対応する複数の目盛り６９９、及び現在選択された目盛り（したがって、現在選択されたｆ値）を示す指針６９７を含む。深度調整スライダ６９８はまた、（例えば、スライダの下又は隣に位置する）現在選択されたｆ値の値を示すｆ値インジケータ６９５も含む。
【０１９７】
いくつかの実施例では、深度調整スライダ６９８は、固定された指針６９７に対して目盛り６９９が移動するように垂直スワイプジェスチャを介して調整することができる。いくつかの実施例では、深度調整スライダ６９８は、固定された目盛り６９９に対して指針６９７が移動するように垂直スワイプジェスチャを介して調整することができる。
【０１９８】
いくつかの実施例では、電子デバイス６９０はまた、画像表現６９６に適用することができ、かつ、垂直スワイプジェスチャを介して変更することができる、様々な照明／光フィルタリングオプションに対応する複数の照明設定６９３を（例えば、画像表現６９６に隣接するユーザインタフェース６９４の領域内に、画像表現６９６に隣接し、かつ深度調整スライダ６９８とは反対側のユーザインタフェース６９４の領域内に）表示する。いくつかの実施例では、深度調整スライダ６９８及び照明設定６９３を並行して調整することができ、並列調整を同時に画像表現６９６で反映することができる。
【０１９９】
図７Ａ〜図７Ｂは、いくつかの実施形態に係る、シミュレートされた深度効果を調整するためのユーザインタフェースを管理する方法を示すフロー図である。方法７００は、ディスプレイ及び１つ以上の入力デバイス（例えば、ディスプレイのタッチ感知面、機械式入力デバイス）を有するデバイス（例えば、１００、３００、５００、６００）で実行される。方法７００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
【０２００】
後述するように、方法７００は、シミュレートされた深度効果のためのユーザインタフェースを管理するための直感的方法を提供する。この方法は、シミュレートされた深度効果のためのユーザインタフェースを管理しナビゲートするためのユーザの認識的負担を軽減し、それにより、より効率的なヒューマン−マシンインタフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、深度効果をシミュレートするためのユーザインタフェースの容易な管理を提供することにより、ユーザがユーザインタフェースをより高速かつより効率的にナビゲートすることを可能にすることで、電力を節約し、バッテリ充電間の時間を増加させる。
【０２０１】
電子デバイス（例えば、６００）は、画像データの表現（例えば、６１８、画像データに対応する表示された画像、人物／被写体のポートレート）を、ディスプレイ（例えば、６０２）上に表示する（７０２）。
【０２０２】
いくつかの実施形態では、画像データの表現（例えば、６１８）は、現在、電子デバイス（例えば、６００）の１つ以上のカメラによってキャプチャされているライブフィード画像である。いくつかの実施形態では、画像データ（例えば、６４８）の表現は、（電子デバイス又は外部サーバの）メモリ内に記憶され、そこから取得された以前に撮られた画像である。いくつかの実施形態では、画像の深度データを調整／操作して、画像データの表現に深度効果を適用することができる。
【０２０３】
いくつかの実施形態では、画像データは、少なくとも２つの成分、すなわち、キャプチャされた画像の視覚特性を符号化するＲＧＢ成分、及びキャプチャされた画像内の要素の相対的な空間的関係についての情報を符号化する深度データ（例えば、深度データは、ユーザが前景にあり、ユーザの背後に位置する木などの背景要素は、背景にあることを符号化する）を含む。
【０２０４】
いくつかの実施形態では、深度データは深度マップである。いくつかの実施形態では、深度マップ（例えば、深度マップ画像）は、視点（例えば、カメラ）からのシーン内のオブジェクトの距離に関連する情報（例えば、値）を含む。深度マップの一実施形態では、各深度画素は、その対応する２次元画素が位置する、視点のＺ軸内の位置を規定する。いくつかの例では、深度マップは、各画素が値（例えば、０〜２５５）によって定義されている画素から成る。例えば、「０」値は、「３次元」シーンにおいて最も離れた位置に配置される画素を表し、「２５５」値は、「３次元」シーンにおいて視点（例えば、カメラ）の最も近くに配置される画素を表す。他の例では、深度マップは、シーン内のオブジェクトと視点の平面との間の距離を表す。いくつかの実施形態では、深度マップは、深度カメラから見た、関心対象物の様々な特徴部の相対深度（例えば、ユーザの顔面の目、鼻、口、耳の相対深度）に関する情報を含む。いくつかの実施形態では、深度マップは、関心対象物のｚ方向における輪郭をデバイスが判定することを可能にする、情報を含む。いくつかの実施形態では、深度データは、第１の深度成分とは別個の、第２の深度成分（例えば、カメラ表示領域内の背景の空間位置を符号化する深度データの第２の部分、背景などの、深度マップの離散部分を形成する複数の深度画素）を有し、第２の深度アスペクトは、カメラ表示領域における背景の表現を含む。いくつかの実施形態では、第１の深度アスペクト及び第２の深度アスペクトは、カメラ表示領域内の被写体とカメラ表示領域内の背景との間の空間的関係を判定するために使用される。この空間的関係は、被写体を背景から識別するために使用することができる。この識別は、例えば、異なる視覚効果（例えば、深度成分を有する視覚効果）を被写体及び背景に適用するために利用することができる。いくつかの実施形態では、第１の深度成分に対応しない画像データの全てのエリア（例えば、深度カメラの範囲外の画像データのエリア）は、ボケ効果などの深度効果をシミュレートするために、異なるぼやけ度／鮮明度、サイズ、輝度、彩度、及び／又は形状歪みの程度に基づいて調整される。
【０２０５】
いくつかの実施形態では、画像データの表現をディスプレイ上に表示することは、画像データの表現が記憶された画像データ（例えば、記憶された／保存された画像又は以前にキャプチャされた画像の表現）に対応するとの判定に従って、シミュレートされた深度効果に関する以前の第１の値によって以前に修正された前のシミュレートされた深度効果で画像データの表現を表示すること、を更に含む。いくつかの実施形態では、画像データの表示（例えば、６４８）は、画像データの表現を表示するためのカメラ／画像アプリケーションが編集モード（例えば、既存の／以前にキャプチャされた画像又は写真を編集するためのモード）であるときの記憶された画像データに対応する。いくつかの実施形態では、画像データの表現が、以前のシミュレートされた深度効果を有する記憶された画像データに対応する場合、電子デバイス（例えば、６００）は、（例えば、カメラ／画像アプリケーション内で）画像データの表現を表示するとすぐに（例えば、表示すると並行して）自動的に調整可能スライダを表示する 。したがって、いくつかの実施形態では、調整可能スライダ（例えば、６３２）は、第１の入力がなくても画像データの表現で表示される。いくつかの実施形態では、（画像データが以前のシミュレートされた深度効果に既に関連付けられている場合）画像データの表現を表示すると、調整可能スライダが自動的に表示されるかどうかは、電子デバイスのタイプ（例えば、電子デバイスがスマートフォン、スマートウォッチ、ラップトップコンピュータ、又はデスクトップコンピュータであるかどうか）に依存する。
【０２０６】
シミュレートされた深度効果に関する複数の選択可能値のうち第１の値によって修正された、シミュレートされた深度効果（例えば、効果を人為的に生成するための基礎となるデータの操作に基づいて表現に適用される、ボケ効果などの深度効果）を有する画像データの表現（例えば、６１８、６４８）を表示している間に、電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、第１の入力（例えば、６０５、６０７、ディスプレイ上に表示されたアフォーダンスのアクティブ化、ディスプレイのタッチ感知面を介して検出される画像上のスライドアップジェスチャなどのジェスチャ）を検出する（７０６）。
【０２０７】
いくつかの実施形態では、ディスプレイ（例えば、６０２）上に画像データの表現（例えば、６１８、６４８）を表示している間に、電子デバイス（例えば、６００）は、ディスプレイ上に（例えば、画像データの表現に適用することができる異なるタイプの効果に対応するアフォーダンス領域（例えば、６２８Ａ）内に）、シミュレートされた深度効果調整アフォーダンス（例えば、６３０）を表示し（７０４）、第１の入力は、シミュレートされた深度効果調整アフォーダンスのアクティブ化（例えば、６０５、タップジェスチャ）である。いくつかの実施形態では、シミュレートされた深度効果調整アフォーダンスは、アフォーダンスがｆ値記号などの深度効果に関連することを示す記号を含む。画像データの表現を表示している間の、このアフォーダンスが深度効果に関連することを示す記号を含むシミュレートされた深度効果調整アフォーダンスを表示することにより、ユーザは、被写界深度特性に対する調整が画像データの表現に対して行われ得ることを迅速かつ容易に認識することが可能になることで、視覚的フィードバックが改善される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０２０８】
いくつかの実施形態では、（例えば、１つ以上のカメラを介して最初にキャプチャされた基礎となるデータに基づいた「自然な」効果とは対照的に）、シミュレートされた深度効果は、基礎となる画像データの操作に基づいて（人為的に）生成され、効果を創造し、それを画像データの対応する表現（例えば、６１８、６４８）に適用する点で「シミュレートされる」。
【０２０９】
いくつかの実施形態では、第１の入力（例えば、６０５、６０７）を検出する前に、シミュレートされた深度効果調整アフォーダンス（例えば、６３０）は、第１の視覚特性（例えば、デフォルト色又は白色のような、アフォーダンスが現在選択されていないことを示す特定の色）で表示される。いくつかの実施形態では、第１の入力を検出した後に、シミュレートされた深度効果調整アフォーダンスは、第１の視覚特性とは異なる第２の視覚特性（例えば、強調表示の色又は黄色のような、アフォーダンスが現在選択されていることを示す特定の色）で表示される。シミュレートされた深度効果調整アフォーダンスの視覚特性を変更することにより、ユーザは、シミュレートされた深度効果特徴がアクティブであることを迅速かつ容易に認識することが可能になることで、視覚的フィードバックが改善される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０２１０】
いくつかの実施形態では、シミュレートされた深度効果調整アフォーダンス（例えば、６３０）を表示することは、現在選択された深度効果値がデフォルトの深度効果値（例えば、電子デバイスによって決定／設定されたデフォルトのｆ値の値）に対応するとの判定に従って、シミュレートされた深度効果調整アフォーダンス内に、現在選択された深度効果値を表示するのを見合わせることを含む。いくつかの実施形態では、デフォルトの深度効果値は、４．５ｆ値である。いくつかの実施形態では、シミュレートされた深度効果調整アフォーダンスを表示することは、現在選択された深度効果値がデフォルトでない深度効果値（例えば、デフォルトのｆ値に対応しない使用可能なｆ値の範囲内の任意のｆ値）に対応するとの判定に従って、シミュレートされた深度効果調整アフォーダンス内に（例えば、ｆ値記号の隣に）、現在選択された深度効果値を表示することを含む。
【０２１１】
いくつかの実施形態では、第１の入力（例えば、６０５、６０７）を検出する前に、電子デバイス（例えば、６００）は、ディスプレイ（例えば、６０２）上に、１つ以上のモードセレクタアフォーダンス（例えば、カメラモードセレクタアフォーダンスなどの、電子デバイスのカメラ関連動作モードを変更するための１つ以上のアフォーダンスを有する領域）を表示し、調整可能スライダ（例えば、６３２）を表示することは、１つ以上のモードセレクタアフォーダンスの表示を調整可能スライダと置き換えることを含む。１つ以上のモードセレクタアフォーダンスの表示を調整可能スライダと置き換えることにより、視覚的フィードバックが改善され、デバイスが現在深度効果調整モードにあることを、ユーザが迅速かつ容易に認識することが可能になる。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０２１２】
いくつかの実施形態では、第１の入力を検出する前に、電子デバイス（例えば、６００）は、ディスプレイ（例えば、６０２）上に、ズーム制御要素（例えば、カメラのズームレベルを変更するための１つ以上のアフォーダンスを有する領域）を表示し、調整可能スライダ（例えば、６３２）を表示することは、ズーム制御要素の表示を置き換えることを含む。
【０２１３】
いくつかの実施形態では、第１の入力（例えば、６０７）は、ユーザインタフェースの第１の部分における第１の方向のスワイプジェスチャ（例えば、６１４、ディスプレイのタッチ感知面上のスワイプアップジェスチャ）である。いくつかの実施形態では、スワイプジェスチャは、画像データの表現に対応するディスプレイの領域上でのスワイプアップジェスチャである。いくつかの実施形態では、スワイプジェスチャは、表現画像データ（例えば、６１８）の底縁部に対応するディスプレイの領域上のスワイプアップジェスチャである。いくつかの実施形態では、スワイプが第２の方向にある場合、調整可能スライダは表示されず、任意選択的に、異なる動作が実行される（例えば、カメラモードを切り替える、又はズーム操作を実行する）。いくつかの実施形態では、スワイプがユーザインタフェースの第２の部分である場合、調整可能スライダは表示されず、任意選択的に、異なる動作が実行される。（表示される追加コントローラによってユーザインタフェースを雑然とさせることなく）追加の制御オプションを提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０２１４】
第１の入力（例えば、６０５、６０７）を検出したことに応じて、電子デバイス（例えば、６００）は、ディスプレイ（例えば、６０２）上に（例えば、画像データの表現の下に、画像データの表現に隣接して）、画像データの表現の操作（例えば、画像データの表現の深度効果、画像データの表現の被写界深度効果の操作）に関連付けられた調整可能スライダ（例えば、６３２）（例えば、複数の目盛り及び指針を含む水平又は垂直スライダ）を表示する（７０８）。調整可能スライダは、シミュレートされた深度効果（例えば、（シミュレートされた）被写界深度、ｆ値／ｆストップ）に関する複数の選択可能値に対応する複数のオプションインジケータ（例えば、６３４、目盛り、標点マークとして表される）を含む（７１０）。いくつかの実施形態では、複数のオプションインジケータは、調整可能スライダ内で（例えば、水平又は垂直に）スライド可能である。調整可能スライダはまた、第１の値が現在選択されたシミュレートされた深度効果値であることを示す選択インジケータ（例えば、６３６、指針として表される）を含む（７１２）。
【０２１５】
いくつかの実施形態では、選択インジケータ（例えば、６３６、指針）の位置が固定され、複数のオプションインジケータ（例えば、６３４、目盛り）は、複数のオプションインジケータは選択インジケータに対して移動し、現在選択された被写界深度値を調整するように、スライダ（例えば、６３２）内で調整可能である。いくつかの実施形態では、利用可能なオプションインジケータの全てのうちサブセットのみがスライダ内に並行して表示される−スライダの調整（例えば、オプションインジケータを水平又は垂直方向に移動させるユーザ入力）に応じて、表示されていないオプションインジケータがスライダ内に表示される。
【０２１６】
いくつかの実施形態では、複数のオプションインジケータ（例えば、６３４）が固定され、選択インジケータ（例えば、６３６）の位置は、選択インジケータが複数のオプションインジケータに対して移動して、現在選択された被写界深度値を調整するように、スライダ内で調整可能である。
【０２１７】
いくつかの実施形態では、第１の入力（例えば、６０５、６０７）を検出したことに応じて、電子デバイス（例えば、６００）は、ディスプレイ（例えば、６０２）上で、画像データの表現（例えば、６１８）をスライドさせて（７１４）（例えば、所定量だけ垂直にスライドアップさせ）、調整可能スライダ（例えば、６３２）を表示する（例えば、明らかにする）（例えば、スワイプ入力の方向に対応する方向に画像データの表現をスライドさせる）。
【０２１８】
調整可能スライダ（例えば、６３２）を表示している間に、電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、調整可能スライダへの入力を検出する（７１６）。
【０２１９】
いくつかの実施形態では、調整可能スライダ（例えば、６３２）への入力（例えば、６０９、６１１、６１９、６２１）は、調整可能スライダ上の（水平な）スワイプジェスチャ（例えば、左スワイプジェスチャ又は右スワイプジェスチャ）であり、スワイプジェスチャは、スワイプジェスチャの終了時に少なくとも第１の速度（閾値速度よりも大きい）（例えば、接触がタッチ感知面からリフトオフされるとき又はその近くでの、スワイプジェスチャを実行する接触の移動速度）を有する第１の方向の（例えば、指を使用した）ユーザの動きを含む。
【０２２０】
調整可能スライダ（例えば、６３２）への入力（例えば、６０９、６１１、６１９、６２１）（例えば、調整可能スライダに対応する位置でのタップ又はスワイプ）を検出した（７１８）ことに応じて、電子デバイス（例えば、６００）は、調整可能スライダを移動させ（７２０）、シミュレートされた深度効果に関する複数の選択可能値のうちの第２の値が、現在選択されたシミュレートされた深度効果値であることを示す。
【０２２１】
調整可能スライダへの入力（例えば、調整可能スライダに対応する位置でのタップ又はスワイプ）を検出した（７１８）ことに応じて、電子デバイス（例えば、６００）は、第２の値によって修正されたシミュレートされた深度効果に従って、画像データの表現（例えば、６１８、６４８）の外観を変更する（７２２）。調整可能スライダへの入力を検出したことに応じて、画像データの表現の外観を変更することにより、ユーザは、ユーザの入力によって引き起こされる画像データの表現に対する変化を迅速かつ容易に閲覧することが可能になることで、視覚的フィードバックが改善される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０２２２】
いくつかの実施形態では、調整可能スライダ（例えば、６３２）を移動させることは、選択インジケータ（例えば、指針として表される６３６）は固定されたままである間に、複数のオプションインジケータ（例えば、目盛りとして表される６３４）を移動させることを含む。したがって、いくつかの実施形態では、調整可能スライダを移動させることは、指針がスライダ内の同じ位置に固定されている間に、ｆ値に対応する複数の目盛りをスライドさせることを含む。いくつかの実施形態では、調整可能スライダを移動させることは、（例えば、目盛りとして表される）複数のオプションインジケータが固定されたままである間に、（例えば、指針として表される）選択インジケータを移動させることを含む。したがって、いくつかの実施形態では、調整可能スライダを移動させることは、目盛りがスライダ内の同じ位置に固定されたままである間に、ｆ値に対応する複数の目盛りの上で前後に指針をスライドさせることを含む。
【０２２３】
いくつかの実施形態では、（例えば、複数のオプションインジケータを固定した選択インジケータに対して移動させることによって、又は選択インジケータを固定したオプションインジケータに対して移動させることによって）調整可能スライダ（例えば、６３２）を移動させる間に、電子デバイス（例えば、６００）は、調整可能スライダによって制御されるパラメータに対して異なる値が選択されると、調整スライダの移動と同期して（例えば、電子デバイスの１つ以上の触知出力生成器及び／又は１つ以上のスピーカを介して）第１のタイプの出力（例えば、触知出力、オーディオ出力）を生成する（７２４）。いくつかの実施形態では、電子デバイスは、選択インジケータが複数のオプションインジケータのうちのあるオプションインジケータと位置合わせされるたびに、又はそれを通過するたびに、離散出力（例えば、離散触知出力、離散オーディオ出力）を生成する。調整可能スライダによって制御されるパラメータに対して異なる値が選択されると、調整可能スライダの移動と同期して第１のタイプの出力（例えば、触知出力、オーディオ出力）を生成することにより、ユーザの入力に調和した応答を提供することでフィードバックが改善される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０２２４】
いくつかの実施形態では、調整可能スライダ（例えば、６３２）を移動させている間に、画像データの表現（例えば、６１８、６４８）が、記憶された画像データ（例えば、記憶／保存済み画像又は以前にキャプチャされた画像の表現）に対応するとの判定に従って、第１のタイプの出力は、（例えば、電子デバイスの１つ以上のスピーカを介して生成される、及び／又は電子デバイスの１つ以上の触知出力生成器を介して生成される）オーディオ出力を含む（７２６）。いくつかの実施形態では、調整可能スライダを移動させている間に、画像データの表現が、１つ以上のカメラによってキャプチャされている画像データのライブプレビューに対応するとの判定に従って、第１のタイプの出力は、（例えば、電子デバイスの１つ以上のスピーカを介して生成される、及び／又は電子デバイスの１つ以上の触知出力生成器を介して生成される）オーディオ出力を含まない（７２８）。いくつかの実施形態では、画像データの表現は、画像データの表現を表示するためのカメラ／画像アプリケーションが編集モード（例えば、既存の／以前にキャプチャされた画像又は写真を編集するためのモード）であるときに、記憶された画像データに対応する。
【０２２５】
方法７００に関して上述したプロセス（例えば、図７Ａ〜図７Ｂ）の詳細はまた、以下で説明する方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法９００は、方法７００を参照して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、方法９００に記載されるように、画像表現に適用されるシミュレートされた深度効果は、方法７００に記載の深度調整スライダを使用して調整することができる。別の例では、方法１１００は、方法７００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、方法１１００に記載されているように、検出された干渉に関する通知は、深度効果をシミュレートするために使用される１つ以上の深度センサを妨害し得る検出された磁気干渉に関連付けることができる。簡潔にするために、これらの詳細は、以下で繰り返さない。
【０２２６】
図８Ａ〜図８Ｒは、いくつかの実施形態に係る、シミュレートされた深度効果（例えば、ボケ効果）に対する調整を表示するための例示的なユーザインタフェースを示す。これらの図中のユーザインタフェースは、図９Ａ、図９Ｂでのプロセスを含めた、以下で説明されるプロセスを例示するために使用される。
【０２２７】
図８Ａは、図６Ａ〜図６Ｔを参照して上述したような電子デバイス６００を示す。図８Ａでは、電子デバイス６００は、画像キャプチャアプリケーションのユーザインタフェース８０４をディスプレイ６０２上に表示し、画像キャプチャアプリケーションはポートレートモードになっている。ポートレートモード中、ユーザインタフェース８０４は、（例えば、深度効果アフォーダンス６３０に対応する）深度効果アフォーダンス８１０を（例えば、画像表示領域８０６の上又は隣に）表示する。
【０２２８】
電子デバイス６００はまた、画像表示領域８０６に、背面カメラ６０８を介してキャプチャされた画像データの画像表現８０８を表示する。この例では、画像表現８０８は、被写体が背面カメラ６０８の視野内にないため、被写体（例えば、人物）を含まない。
【０２２９】
ポートレートモードでは、電子デバイス６００は、適切にポートレートモードを実現するため、被写体がマーカによって占有されている画像表現８０８の一般領域内に配置される必要があることを示す被写体マーカ８１２を画像表現８０８に表示する。被写体が現在検出されていないため、電子デバイス６００は、被写体が被写体マーカ８１２によって占有されている画像表現８０８の領域に対応する環境内に配置されることを要求するメッセージ８１４を（例えば、画像表示領域８０６の上部に）表示する。
【０２３０】
図８Ｂでは、実際の環境内の実際の被写体が背面カメラ６０８の視野内で検出される。実際の被写体を検出すると、電子デバイス６００は、画像表現８０８において、背面カメラ６０８の視野内で検出された実際の被写体に対応する被写体８１６を表示する。
【０２３１】
図８Ｃでは、被写体８１６が被写体マーカ８１２によって示された画像表現８０８の一般領域内にあるとの判定に従って、電子デバイス６００は、被写体マーカ８１２を介して（例えば、被写体に対して「ロックオンする」マーカによって、異なる色に変更するなど、視覚特性を変更するマーカによって）、被写体が、被写体マーカ８１２によって占有される画像表現８０８の一般領域内にあるという指示を提供して、ポートレートモードを適切に実現する。
【０２３２】
いくつかの実施形態では、被写体は検出されるが、電子デバイス６００から遠く離れすぎて（例えば、デバイスから１０フィート超離れているなどの、デバイスから所定距離を超えて離れていて）ポートレートモードを完全には実現できない場合、電子デバイス６００は、被写体がデバイスに近接して配置されるべきであることを示す通知を表示する。いくつかの実施形態では、被写体が検出されるが、電子デバイス６００に近接しすぎて（例えば、デバイスから１フィートより近いなどの、デバイスから既定の距離未満しか離れていないので）ポートレートを完全には実現できない場合、電子デバイス６００は、被写体がデバイスからより遠く離れて配置されるべきであることを示す通知を表示する。
【０２３３】
被写体のマーカ８１２によって示される画像表現８０８の一般領域内で被写体８１６を検出すると、電子デバイス６００は、ポートレートモードをアクティブ化する。ポートレートモードをアクティブ化すると、電子デバイス６００は、画像表現８０８内の焦点（例えば、被写体８１６の鼻）に基づいて、シミュレートされた深度効果（例えば、ボケ効果、画像表現６１８に関して上記したシミュレートされた深度効果）を、デフォルトのｆ値（例えば、４．５）を用いて画像表現８０８内のオブジェクトに適用することによって、画像表現８１２を調整する。この例では、画像表現８０８は、発光オブジェクト８１８Ａ、８１８Ｂ、８１８Ｃ及び８１８Ｄ、並びに非発光オブジェクト８２０Ａ及び８２０Ｂを含む。いくつかの実施形態では、シミュレートされた深度効果はまた、焦点（例えば、被写体の鼻以外の被写体８１６の部分）に対応しない被写体８１６の部分にも適用される。
【０２３４】
図８Ｄでは、被写体８１６が検出された画像表現８０８を表示している間に、電子デバイス６００は、深度効果アフォーダンス８１０のアクティブ化８０１を（例えば、ディスプレイ６０２のタッチ感知面を介して）検出する。
【０２３５】
図８Ｅでは、深度効果アフォーダンス８１０のアクティブ化８１０を検出したことに応じて、電子デバイス６００は、（例えば、画像表示領域８０６の下のユーザインタフェース８０４のメニュー領域内に）（図６Ａ〜図６Ｒを参照して上記した深度調整スライダ６３２に対応する）深度調整スライダ８２２を表示する。深度調整スライダ６３２と同様に、深度調整スライダ８２２は、ｆ値に対応する複数の目盛り８２４、現在選択された目盛り（したがって、現在選択されたｆ値）を示す指針８２４ 、及び現在選択されたｆ値の値を示す（例えば、スライダの下又は隣に位置する）ｆ値インジケータ８２８を含む。図８Ｅでは、現在のｆ値がデフォルトのｆ値であるため、ｆ値インジケータ８２８はデフォルトのｆ値（例えば、４．５）を示す。いくつかの実施形態では、深度調整スライダ８２２がアクティブ化されると、ｆ値インジケータ８２８に加えて、深度効果アフォーダンス８１０は、現在のｆ値も表示する。
【０２３６】
図８Ｅでは、深度調整スライダ８２２を表示している間に、電子デバイス６００は、深度調整スライダ８２２上のスワイプジェスチャ８０３（例えば、水平スワイプジェスチャ、右スワイプジェスチャ）を（例えば、ディスプレイ６０２のタッチ感知面を介して）検出し、それによって、固定された指針８２６に対して目盛り８２４を水平にスライドさせる。
【０２３７】
図８Ｆに示すように、スワイプジェスチャ８０３は、深度調整スライダ８２２をスライドさせ、ｆ値インジケータ８２８によって（及び、いくつかの実施形態では、深度効果アフォーダンス８１０によっても）示されるように、低いｆ値（例えば、１．６）が現在のｆ値として設定される。
【０２３８】
図８Ｆでは、電子デバイス８００は、画像表現８０８を調整して、新しい被写界深度の値を反映する。（例えば、１．６）。具体的には、より小さなシミュレートされた被写界深度値のために、発光オブジェクト８１８Ａは、（ｆ値４．５を有する）図８Ｅよりも（ｆ値１．６を有する）図８Ｆにおいて、より歪んでいる（例えば、よりぼやけた、より大きな、より明るい、彩度がより高く、かつ／又はより歪んだ形状を有する）。同様に、より小さなシミュレートされた被写界深度値のため、発光オブジェクト８１８Ｂは、（ｆ値４．５を有する）図８Ｅよりも（ｆ値１．６を有する）図８Ｆにおいて、より歪んでいる（例えば、よりぼやけた、より大きな、より明るい、彩度がより高く、かつ／又はより歪んだ形状を有する）。同様に、より小さなシミュレートされた被写界深度値のため、発光オブジェクト８１８Ｃは、（ｆ値４．５を有する）図８Ｅよりも（ｆ値１．６を有する）図８Ｆにおいて、より歪んでいる（例えば、よりぼやけた、より大きな、より明るい、彩度がより高く、かつ／又はより歪んだ形状を有する）。同様に、より小さなシミュレートされた被写界深度値のため、非発光オブジェクト８２０Ａは、（ｆ値４．５を有する）図８Ｅよりも（ｆ値１．６を有する）図８Ｆにおいて、より歪んでいる（例えば、よりぼやけた、より大きな、より明るい、彩度がより高く、かつ／又はより歪んだ形状を有する）。同様に、より小さなシミュレートされた被写界深度値のため、非発光オブジェクト８２０Ｂは、（ｆ値４．５を有する）図８Ｅよりも（ｆ値１．６を有する）図８Ｆにおいて、より歪んでいる（例えば、よりぼやけた、より大きな、より明るい、彩度がより高く、かつ／又はより歪んだ形状を有する）。
【０２３９】
更に、オブジェクトの歪みの程度（例えば、ぼやけ度、サイズ、輝度、彩度、及び／又は焦点に対するオブジェクトの形状における歪みの程度）は、各オブジェクトの画像表現８０８の焦点（例えば、被写体８１６の鼻）までの距離に基づいて異なる。具体的には、画像表現８０８内の（例えば、特定のオブジェクトを含む）各深度画素が、対応する２次元画素が位置する視点のｚ軸における位置を規定し、各画素は値（例えば、０−２５５、その場合、「０」値が、「３次元」シーン内の最も遠い場所に位置する画素を表し、「２５５」値は、「３次元」シーン内の視点（例えば、カメラ）に最も近くに位置する画素を表す）によって規定され、ぼやけ度／鮮明度、サイズ、輝度、彩度、及び／又は形状歪みの程度は、ｚ軸方向の距離（０−２５５の値）に依存する。すなわち、オブジェクト内の深度画素がｚ方向において遠くなるほど、より「ぼやけた」オブジェクトが画像表現８０８に現れ、オブジェクト内の深度画素がｚ方向においてより近くなるほど、より鮮明なオブジェクトが画像表現８０８に現れる。一方、画像表現８０８が、焦点（例えば、被写体８２０の鼻）が平面の中心（例えば、原点）である２次元ｘ、ｙ平面と見なされる場合、画像表現８０８内のオブジェクトを構成する画素の（ｘ、ｙ）点から平面の中心までの直線距離は、オブジェクトの形状歪みの程度に影響し、中心（焦点）からの画素の距離が大きいほど、形状歪みの程度が大きくなり、中心からの画素の距離が小さいほど、形状歪みがより小さくなる。
【０２４０】
例えば、図８Ｆでは、オブジェクト８１８Ｂ−１がオブジェクト８１８Ｂ−２よりも焦点（例えば、被写体８１６の鼻）から遠く離れているため、オブジェクト８１８Ｂ−１の歪みの程度は、オブジェクト８１８Ｂ−２の歪みの程度の変化よりも大きい（例えば、オブジェクト８１８Ｂ−１は、オブジェクト８１８Ｂ−２より比較的ぼやけており、より大きく、より明るく、より彩度が大きく、かつ／又は焦点に対して形状歪みが大きい）。同様に、図８Ｆでは、オブジェクト８１８Ｃ−１がオブジェクト８１８Ｃ−２よりも焦点（例えば、被写体８１６の鼻）から遠く離れているため、オブジェクト８１８Ｃ−１の歪みの程度は、オブジェクト８１８Ｃ−２の歪みの程度よりも大きい（例えば、オブジェクト８１８Ｃ−１は、オブジェクト８１８Ｃ−２よりも相対的に「ぼやけ」ており、焦点に対する形状歪みが大きい）。焦点までのオブジェクトの距離に基づく歪みの程度の差はまた、非発光オブジェクト（例えば、オブジェクト８２０Ａ及び８２０Ｂ）にも適用され、いくつかの実施形態では、焦点に対応しない被写体８１６の部分（例えば、被写体の上半身、焦点を取り囲む被写体の顔面及び頭部の部分）にも適用される。
【０２４１】
また、オブジェクトの歪みの程度（例えば、ぼやけ度、サイズの違い、輝度、彩度、及び／又は焦点に対するオブジェクトの形状における歪みの程度）は、オブジェクトのタイプに基づいて−オブジェクトが発光オブジェクトに対応するか、それとも非発光オブジェクトに対応するかどうかによって異なる。結果として得られる歪みの変化は、一般に、被写界深度が同一の調整の場合は、非発光オブジェクトの場合よりも、発光オブジェクトの場合のほうが大きい。
【０２４２】
いくつかの実施形態では、深度調整スライダ８２２が（例えば、図８Ｅの４．５から図８Ｆの１．６まで）ナビゲートされるにつれて、オブジェクトの被写界深度特性は連続的に調整される。
【０２４３】
図８Ｇでは、ｆ値が１．６に設定されている間に、電子デバイス６００は、深度調整スライダ８２２上でスワイプジェスチャ８０５（例えば、水平スワイプジェスチャ、左スワイプジェスチャ）を（例えば、ディスプレイ６０２のタッチ感知面を介して）検出し、それによって、固定された指針８２６に対して反対方向に目盛り８２４を水平にスライドさせる。
【０２４４】
図８Ｈに示すように、スワイプジェスチャ８０５は、深度調整スライダ８２２をスライドさせ、ｆ値インジケータ８２８によって（及び、いくつかの実施形態では、深度調整スライダ８１０によっても）示されるように、現在のｆ値として、より高いｆ値（例えば、８．７）が設定される。
【０２４５】
図８Ｈでは、電子デバイス８００は、画像表現８０８を調整して、新しい被写界深度値を反映する。（例えば、８．７）。具体的には、より大きなシミュレートされた被写界深度値のために、発光オブジェクト８１８Ａは、（ｆ値１．６を有する）図８Ｆ及び（ｆ値４．５を有する）図８Ｅよりも、（ｆ値８．７を有する）図８Ｈにおいて、歪みが小さい（例えば、より鮮明で、より実際の形態の正確な表現に近い）。同様に、より大きなシミュレートされた被写界深度値のために、発光オブジェクト８１８Ｂは、（ｆ値１．６を有する）図８Ｆ及び（ｆ値４．５を有する）図８Ｅよりも、（ｆ値８．７を有する）図８Ｈにおいて、歪みが小さい（例えば、より鮮明で、より実際の形態の正確な表現に近い）。同様に、より大きなシミュレートされた被写界深度値のため、発光オブジェクト８１８Ｃは、（ｆ値１．６を有する）図８Ｆ及び（ｆ値４．５を有する）図８Ｅよりも、（ｆ値８．７を有する）図８Ｈにおいて歪みが小さい（例えば、より鮮明で、より実際の形態の正確な表現に近い）。同様に、より大きなシミュレートされた被写界深度値のために、非発光オブジェクト８２０Ａは、（ｆ値１．６を有する）図８Ｆ及び（ｆ値４．５を有する）図８Ｅよりも、（ｆ値８．７を有する）図８Ｈにおいて歪みが小さい（例えば、より鮮明で、より実際の形態の正確な表現に近い）。同様に、より大きなシミュレートされた被写界深度値のために、非発光オブジェクト８２０Ｂは、（ｆ値１．６を有する）図８Ｆ及び（ｆ値４．５を有する）図８Ｅよりも、（ｆ値８．７を有する）図８Ｈにおいて歪みが小さい（例えば、より鮮明で、より実際の形態の正確な表現に近い）。
【０２４６】
既に上記で考察したように、オブジェクトの歪みの程度（例えば、ぼやけ度、サイズの差、輝度、彩度、焦点に対するオブジェクトの形状における歪みの程度）は、各オブジェクトの画像表現８０８の焦点（例えば、被写体８１６の鼻）までの距離に基づいて異なる。したがって、例えば、図８Ｈでは、オブジェクト８１８Ｂ−１がオブジェクト８１８Ｂ−２よりも焦点（例えば、被写体８１６の鼻）から遠く離れているため、オブジェクト８１８Ｂ−１の歪みの程度は依然として、オブジェクト８１８Ｂ−２の歪みの程度よりもいっそう大きい（例えば、オブジェクト８１８Ｂ−１は、オブジェクト８１８Ｂ−２より依然として比較的ぼやけており、より大きく、より明るく、より彩度が大きく、かつ／又は焦点に対する形状歪みが大きい）。同様に、図８Ｈでは、オブジェクト８１８Ｃ−１がオブジェクト８１８Ｃ−２よりも焦点（例えば、被写体８１６の鼻）から遠く離れているため、オブジェクト８１８Ｃ−１の歪みの程度は、オブジェクト８１８Ｃ−２の歪みの程度よりもいっそう大きい（例えば、オブジェクト８１８Ｃ−１は、オブジェクト８１８Ｃ−２よりも相対的にぼやけており、より大きく、より明るく、より彩度が大きく、かつ／又は焦点に対する形状歪みが大きい）。
【０２４７】
図８Ｉ〜図８Ｍは、中心オブジェクト８３２における焦点を有する５×５のグリッド状パターンに配置された複数の円形オブジェクト８３０（発光オブジェクト又は非発光オブジェクトであり得る）を示す。図８Ｉ〜図８Ｍはまた、図８Ａ〜図８Ｈを参照して上述した深度調整スライダ８２２に対応する深度調整スライダ８３４を示す。図８Ｉ〜図８Ｍは、一実施形態では、異なるｆ値設定下でのオブジェクトの歪みを更に示すために提供され、歪みの程度は、焦点からのオブジェクトの距離に基づいて異なる。
【０２４８】
図８Ｉでは、ｆ値インジケータ８３６によって示されるように、現在のｆ値は４．５（例えば、デフォルトのｆ値）に設定される。図８Ｉは、焦点としてオブジェクト８３２に対して４．５ｆ値で調整された円形オブジェクト８３０を示す。図８Ｉに示すように、焦点から更に離れたオブジェクトは、焦点上にある又は焦点に近いオブジェクトよりも歪みが大きい（例えば、よりぼかされた、より大きな、より明るい、より彩度が大きい、かつ／又はより歪んだ形状を有する）。
【０２４９】
図８Ｊでは、ｆ値インジケータ８３６が示すように、現在のｆ値は２．８に設定される。図８Ｊは、焦点としてオブジェクト８３２に対して２．８ｆ値で調整された円形オブジェクト８３０を示す。より小さいｆ値の下で、オブジェクトは、図８Ｉの対応するオブジェクト８３０よりもぼかされ、より大きく、より明るい、より彩度が大きく、かつ／又はより歪んだ形状を有するため、図８Ｊのオブジェクト８３０は、「より大きい」ように見える。図８Ｉと同様に、図８Ｊでは、焦点から更に離れたオブジェクトは、焦点上にある又は焦点に近いオブジェクトよりも歪みが大きい（例えば、よりぼかされた、より大きな、より明るい、より彩度が大きい、かつ／又はより歪んだ形状を有する）。
【０２５０】
図８Ｋでは、ｆ値インジケータ８３６によって示されるように、現在のｆ値は１．０に設定される。図８Ｋは、焦点としてオブジェクト８３２に対して１．０ｆ値で調整された円形オブジェクト８３０を示す。更に小さいｆ値の下で、オブジェクトは、図８Ｊの対応するオブジェクト８３０よりもぼかされ、より大きく、より明るい、より彩度が高い、かつ／又はより歪んだ形状を有するため、図８Ｋのオブジェクト８３０は、更に「より大きい」ように見える。図８Ｉ〜図８Ｊと同様に、図８Ｋでは、焦点から更に離れたオブジェクトは、焦点上又は焦点に近いオブジェクトよりも歪みが大きい（例えば、よりぼかされた、より大きな、より明るい、より彩度が大きい、かつ／又はより歪んだ形状を有する）。
【０２５１】
図８Ｌでは、ｆ値インジケータ８３６によって示されるように、現在のｆ値は７．６に設定される。図８Ｌは、焦点としてオブジェクト８３２に対して７．６ｆ値で調整された円形オブジェクト８３０を示す。より大きいｆ値の下では、オブジェクトは、図８Ｉの対応するオブジェクト８３０よりもぼかしが少なく、より小さく、輝度がより低く、彩度がより低く、むしろ鮮明であるため、図８Ｋのオブジェクト８３０は、図８Ｉの対応するオブジェクト８３０よりも「小さい」ように見える。更に、図８Ｉ〜図８Ｋと同様に、図８Ｌでは、焦点から更に離れたオブジェクトは、焦点上又は焦点に近いオブジェクトよりも歪みが大きい（例えば、よりぼかされた、より大きく、より明るく、彩度がより高く、かつ／又はより歪んだ形状を有する）。
【０２５２】
図８Ｍでは、ｆ値インジケータ８３６によって示されるように、現在のｆ値は１４に設定される。図８Ｍは、焦点としてオブジェクト８３２に対して１４ｆ値で調整された円形オブジェクト８３０を示す。更に大きいｆ値の下で、オブジェクトは、図８Ｌの対応するオブジェクト８３０よりもぼかしが少なく、より小さく、輝度がより低く、彩度がより低く、かつ／又は、歪み形状がより小さく、むしろより鮮明であるため、図８Ｍのオブジェクト８３０は、図８Ｌの対応するオブジェクト８３０よりも更に「小さい」ように見える。したがって、図８Ｍのオブジェクト８３０は、図８Ｉ〜図８Ｌのオブジェクト８３０よりも「真」の円がより多い。なお、図８Ｉ〜図８Ｌと同様に、図８Ｍでは、焦点から更に離れているオブジェクトは、焦点上又は焦点に近いオブジェクトよりも歪みが大きい（例えば、よりぼかされた、より大きな、より明るく、彩度がより高く、かつ／又はより歪んだ形状を有する）。
【０２５３】
図８Ｎ〜図８Ｒは、（図８Ｉ〜図８Ｍと同様に）中心オブジェクト８４０における焦点を有する５×５のグリッド状パターンに配置された複数の円形オブジェクト８３８（発光オブジェクト又は非発光オブジェクトであり得る）を示す。図８Ｎ〜図８Ｒはまた、図８Ａ〜図８Ｈを参照して上述した深度調整スライダ８２２に対応する深度調整スライダ８３４を示す。図８Ｎ〜図８Ｒは、別の実施形態では、異なるｆ値設定下でのオブジェクトの歪みを更に示すために提供され、歪みの程度は、焦点からのオブジェクトの距離に基づいて異なる。
【０２５４】
図８Ｎでは、ｆ値インジケータ８３６によって示されるように、現在のｆ値は４．５（例えば、デフォルトのｆ値）に設定される。図８Ｎは、焦点としてオブジェクト８４０に対して４．５ｆ値で調整された円形オブジェクト８３８を示す。図８Ｎに示されるように、焦点から更に離れたオブジェクトは、焦点上にある又は焦点に近いオブジェクトよりも歪みが大きい（例えば、よりぼかされた、より大きな、より明るい、彩度がより高く、かつ／又はより歪んだ形状を有する）。
【０２５５】
図８Ｏでは、ｆ値インジケータ８３６によって示されるように、現在のｆ値は２．８に設定される。図８Ｏは、焦点としてオブジェクト８３４に対して２．８ｆ値で調整された円形オブジェクト８３８を示す。より小さいｆ値の下で、オブジェクトは、図８Ｎの対応するオブジェクト８３８よりもぼかされ、より大きく、より明るい、彩度がより高く、かつ／又はより歪んだ形状を有するため、図８Ｏのオブジェクト８３８は、「より大きい」ように見える。図８Ｎと同様に、図８Ｏでは、焦点から更に離れたオブジェクトは、焦点上にある又は焦点に近いオブジェクトよりも歪みが大きい（例えば、よりぼかされた、より大きな、より明るい、彩度がより高く、かつ／又はより歪んだ形状を有する）。
【０２５６】
図８Ｐでは、ｆ値インジケータ８３６によって示されるように、現在のｆ値は１．０に設定される。図８Ｐは、焦点としてオブジェクト８４０に対して１．０ｆ値で調整された円形オブジェクト８３８を示す。更により小さいｆ値の下で、オブジェクトは、図８Ｏの対応するオブジェクト８３８よりもぼかされ、より大きい、より明るい、彩度がより高く、かつ／又はより歪んだ形状を有するため、図８Ｐのオブジェクト８３８は、更に「より大きい」ように見える。図８Ｎ〜図８Ｏと同様に、図８Ｐでは、焦点から更に離れたオブジェクトは、焦点上にある又は焦点に近いオブジェクトよりも歪みが大きい（例えば、よりぼかされた、より大きな、より明るい、彩度がより高く、かつ／又はより歪んだ形状を有する）。
【０２５７】
図８Ｑでは、ｆ値インジケータ８３６によって示されるように、現在のｆ値は７．６に設定される。図８Ｑは、焦点としてオブジェクト８４０に対して７．６のｆ値で調整された円形オブジェクト８３８を示す。より大きなｆ値の下では、オブジェクトは、図８Ｎの対応するオブジェクト８３８よりもぼかしが少なく、より小さく、輝度がより低く、彩度がより低く、むしろより鮮明であるため、図８Ｑのオブジェクト８３８は、図８Ｎの対応するオブジェクト８３８よりも「小さい」ように見える。なお、図８Ｎ〜図８Ｐと同様に、図８Ｑでは、焦点から更に離れたオブジェクトは、焦点上にある又は焦点に近いオブジェクトよりも歪みが大きい（例えば、よりぼかされた、より大きな、より明るい、彩度がより高く、かつ／又はより歪んだ形状を有する）。
【０２５８】
図８Ｒでは、ｆ値インジケータ８３６によって示されるように、現在のｆ値は１４に設定される。図８Ｒは、焦点としてオブジェクト８４０に対して１４ｆ値で調整された円形オブジェクト８３８を示す。更に大きいｆ値の下で、オブジェクトは、図８Ｑの対応するオブジェクト８３８よりもぼやけが少なく、より小さい、輝度がより低く、彩度がより低く、かつ／又は、歪み形状がより小さく、むしろより鮮明であるため、図８Ｒのオブジェクト８３８は、図８Ｑの対応するオブジェクト８３８よりも更に「より小さい」ように見える。したがって、図８Ｒのオブジェクト８３８は、図８Ｎ〜図８Ｑのオブジェクト８３８よりも「真」の円である。なお、図８Ｎ〜図８Ｑと同様に、図８Ｒでは、焦点から更に離れているオブジェクトは、焦点上にある又は焦点に近いオブジェクトよりも歪みが大きい（例えば、よりぼかされた、より大きな、より明るい、彩度がより高く、かつ／又はより歪んだ形状を有する）。
【０２５９】
図９Ａ〜図９Ｂは、いくつかの実施形態に係る、シミュレートされた深度効果への調整を表示するためのユーザインタフェースを管理する方法を示すフロー図である。方法９００は、ディスプレイ及び１つ以上の入力デバイス（例えば、ディスプレイのタッチ感知面、機械式入力デバイス）を有するデバイス（例えば、１００、３００、５００、６００）で実行される。方法９００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
【０２６０】
後述するように、方法９００は、シミュレートされた深度効果のためのユーザインタフェースを管理するための直感的方法を提供する。この方法は、シミュレートされた深度効果のためのユーザインタフェースを管理しナビゲートするためのユーザの認識的負担を軽減し、それにより、より効率的なヒューマン−マシンインタフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、深度効果をシミュレートするためのユーザインタフェースの容易な管理を提供することにより、ユーザがユーザインタフェースをより高速かつより効率的にナビゲートすることを可能にすることで、電力を節約し、バッテリ充電間の時間を増加させる。
【０２６１】
電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、画像データの表現（例えば、８０８、画像データに対応する表示された画像、人物／被写体のポートレート画像）にシミュレートされた深度効果を適用する要求を受信し（９０２）、画像データの表現内の被写体についての深度データが利用可能である。
【０２６２】
いくつかの実施形態では、画像データの表現（例えば、８０８）は、電子デバイスの１つ以上のカメラによって現在キャプチャされているライブフィード画像である。いくつかの実施形態では、画像データの表現は、（電子デバイス又は外部サーバの）メモリに記憶され、メモリから取得された以前に撮られた画像である。いくつかの実施形態では、画像の深度データを調整／操作して、画像データの表現に深度効果を適用することができる。
【０２６３】
いくつかの実施形態では、画像データは、少なくとも２つの成分、すなわち、キャプチャされた画像の視覚特性を符号化するＲＧＢ成分、及びキャプチャされた画像内の要素の相対的な空間的関係についての情報を符号化する深度データ（例えば、深度データは、ユーザが前景にあり、ユーザの背後に位置する木などの背景要素は、背景にあることを符号化する）を含む。
【０２６４】
いくつかの実施形態では、深度データは深度マップである。いくつかの実施形態では、深度マップ（例えば、深度マップ画像）は、視点（例えば、カメラ）からのシーン内のオブジェクトの距離に関連する情報（例えば、値）を含む。深度マップの一実施形態では、各深度画素は、その対応する２次元画素が位置する、視点のＺ軸内の位置を規定する。いくつかの例では、深度マップは、各画素が値（例えば、０〜２５５）によって規定されている画素から成る。例えば、「０」値は、「３次元」シーンにおいて最も離れた位置に配置される画素を表し、「２５５」値は、「３次元」シーンにおいて視点（例えば、カメラ）の最も近くに配置される画素を表す。他の例では、深度マップは、シーン内のオブジェクトと視点の平面との間の距離を表す。いくつかの実施形態では、深度マップは、深度カメラから見た、関心対象物の様々な特徴部の相対深度（例えば、ユーザの顔面の目、鼻、口、耳の相対深度）に関する情報を含む。いくつかの実施形態では、深度マップは、関心対象物のｚ方向における輪郭をデバイスが判定することを可能にする、情報を含む。いくつかの実施形態では、深度データは、第１の深度成分とは別個の、第２の深度成分（例えば、カメラ表示領域内の背景の空間位置を符号化する深度データの第２の部分、背景などの、深度マップの離散部分を形成する複数の深度画素）を有し、第２の深度アスペクトは、カメラ表示領域における背景の表現を含む。いくつかの実施形態では、第１の深度アスペクト及び第２の深度アスペクトは、カメラ表示領域内の被写体とカメラ表示領域内の背景との間の空間的関係を判定するために使用される。この空間的関係は、被写体を背景から識別するために使用することができる。この識別は、例えば、異なる視覚効果（例えば、深度成分を有する視覚効果）を被写体及び背景に適用するために利用することができる。いくつかの実施形態では、第１の深度成分に対応しない画像データの全てのエリア（例えば、深度カメラの範囲外の画像データのエリア）は、ボケ効果などの深度効果をシミュレートするために、異なるぼやけ度／鮮明度、サイズ、輝度、彩度、及び／又は形状歪みの程度に基づいて調整される。
【０２６５】
いくつかの実施形態では、要求は、画像データの表現（例えば、８０８）に適用される／適用されているシミュレートされた深度効果を修正／調整することに関連付けられた調整可能スライダ（例えば、８２２）の調整（例えば、水平方向又は垂直方向のスライディングジェスチャ）に対応する。調整可能スライダを使用してシミュレートされた深度効果を画像データの表現に適用することにより、ユーザは、ユーザによって行われる調整を迅速かつ容易に閲覧することが可能になることで、視覚的フィードバックが強化される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０２６６】
いくつかの実施形態では、（例えば、１つ以上のカメラを介して最初にキャプチャされた基礎となるデータに基づいた「自然な」効果とは対照的に）、シミュレートされた深度効果は、基礎となる画像データの操作に基づいて（人為的に）生成され、効果を創造し、それを画像データの対応する表現（例えば、８０８）に適用する点で「シミュレートされる」。
【０２６７】
いくつかの実施形態では、１つ以上の入力デバイスを介して、シミュレートされた深度効果を画像データの表現（例えば、８０８）に適用する要求を受信することは、１つ以上の入力デバイスを介して、画像歪みパラメータの値を選択する１つ以上の入力を検出することを含み、画像データの表現（の一部）を歪ませることは、（例えば、パラメータを制御するための調整可能スライダの移動を介して）画像歪みパラメータの値を選択する１つ以上のユーザ入力に基づくものである（及び、それに応答するものである）。いくつかの実施形態では、調整可能スライダは、図６Ａ〜図６Ｔを参照して上記したように、画像データの表現を（例えば、シミュレートされた深度効果を適用して）歪ませるように調整される。画像データの表現を歪ませるために使用される調整可能スライダを提供することにより、ユーザは、画像データの表示された表現に対する調整を容易かつ効率的に行うことを可能にすることで、ユーザの利便性が強化される。追加の制御オプションを提供し、動作を実行するために必要な入力の数を低減することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０２６８】
いくつかの実施形態では、画像歪みパラメータに関する異なる値を選択することにより、画像データの表現の第１の部分に第１の変化を引き起こし、画像データの表現の第２の部分に第２の変化を引き起こし、この第１の変化は第２の変化と異なり、第１の変化及び第２の変化はいずれも、同じタイプの変化（例えば、ぼやけ、サイズ、輝度、彩度、及び／又は形状歪みの増大又は減少）を含む。
【０２６９】
シミュレートされた深度効果を画像データの表現（例えば、８０８）に適用する要求を受信した（９０４）ことに応じて、電子デバイス（例えば、６００）は、ディスプレイ（例えば、６０２）上に、シミュレートされた深度効果を有する画像データの表現を表示する。シミュレートされた深度効果を画像データの表現に適用する要求を受信したことに応じて、シミュレートされた深度効果を有する画像データの表現を表示することにより、ユーザは、画像データの表現に対して行われる調整を迅速かつ容易に閲覧し応答することが可能になる。利便性のある制御オプションを提供し、動作を実行するために必要な入力の数を低減することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０２７０】
ディスプレイ（例えば、６０２）上に、シミュレートされた深度効果を有する画像データの表現（例えば、８０８）を表示することは、第１の方式（例えば、第１の特定のぼやけ／鮮明さ、第１の特定のサイズ、第１の特定の輝度、第１の特定の彩度、及び／又は第１の特定の形状）で第１の深度を有する画像データの表現の第１の部分を歪ませる（９０６）ことを含み、第１の方式は、画像データの表現の既定部分（例えば、カメラの視野の中心又はカメラの焦点の中心）からの第１の部分の距離に基づいて決定される。ユーザが正確なシミュレート深度効果を適用するように画像データの表現を調整することが可能になることにより、ユーザは、本来大規模かつ／又は高価なハードウェア（例えば、専門家のレベルのカメラ）を用いることでしかユーザが得ることができないものと同様の画像／写真を作成することを可能にすることで、ユーザの利便性／効率性並びにデバイスの操作性及び多用性が強化される。すなわち、（例えば、光学歪みを介して深度効果を生成可能なデバイスに含まれた／それに取り付けられたカメラセンサ及びレンズをユーザが使用した場合とは対照的に）シミュレートされた深度効果（ソフトウェア効果）により、ユーザは、比較的小型で、かつそれほど高価でないデバイスを利用して、深度効果を画像／写真に適用することが可能になる。次いで、 このことによりデバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときにユーザが適切な入力を行うのを支援しユーザの誤りを低減することによって）ユーザ−デバイスインタフェースがより効率的になり、このことにより更に、ユーザがデバイスをより素早くかつ効率的に使用可能になることによって、デバイスの電力使用量が低減されバッテリ寿命が改善される。
【０２７１】
ディスプレイ（例えば、６０２）上に、シミュレートされた深度効果を有する画像データの表現（例えば、８０８）を表示することはまた、第１の方式とは異なる第２の方式（例えば、第２の特定のぼやけ／鮮明さ、第２の特定のサイズ、第２の特定の輝度、第２の特定の彩度、及び／又は第２の特定の形状）で第１の深度を有する画像データの表現の第２の部分を歪ませることを含み、この第２の方式は、画像データの表現の既定部分からの第２の部分の距離に基づいて決定される。ユーザが正確なシミュレート深度効果を適用するように画像データの表現を調整することが可能になることにより、ユーザは、本来大規模かつ／又は高価なハードウェア（例えば、専門家のレベルのカメラ）を用いることでしかユーザが得ることができないものと同様の画像／写真を作成することを可能にすることで、ユーザの利便性／効率性並びにデバイスの操作性及び多用性が強化される。すなわち、（例えば、光学歪みを介して深度効果を生成可能なデバイスに含まれた／それに取り付けられたカメラセンサ及びレンズをユーザが使用した場合とは対照的に）シミュレートされた深度効果（ソフトウェア効果）により、ユーザは、比較的小型で、かつそれほど高価でないデバイスを利用して、深度効果を画像／写真に適用することが可能になる。次いで、このことによりデバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときにユーザが適切な入力を行うのを支援しユーザの誤りを低減することによって）ユーザ−デバイスインタフェースがより効率的になり、このことにより、更に、ユーザがデバイスをより素早くかつ効率的に使用可能になることによって、デバイスの電力使用量が低減され、バッテリ寿命が改善される。
【０２７２】
いくつかの実施形態では、ディスプレイ（例えば、６０２）上に、シミュレートされた深度効果を有する画像データの表現（例えば、８０８）を表示することは、第２の深度（例えば、第３の部分の深度）に基づいて決定された（ぼやけ／鮮明さの）大きさを用いて、第１の部分と既定部分からの距離が同じであり、第１の方式における第１の深度とは異なる第２の深度を有する画像データの表現の第３の部分を歪ませること（９１０）を更に含む。ユーザが正確なシミュレート深度効果を適用するように画像データの表現を調整することが可能になることにより、ユーザは、本来大規模かつ／又は高価なハードウェア（例えば、専門家のレベルのカメラ）を用いることでしかユーザが得ることができないものと同様の画像／写真を作成することを可能にすることで、ユーザの利便性／効率性並びにデバイスの操作性及び多用性が強化される。すなわち、（例えば、光学歪みを介して深度効果を生成可能なデバイスに含まれた／それに取り付けられたカメラセンサ及びレンズをユーザが使用した場合とは対照的に）シミュレートされた深度効果（ソフトウェア効果）により、ユーザは、比較的小型で、かつそれほど高価でないデバイスを利用して、深度効果を画像／写真に適用することが可能になる。次いで、このことによりデバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときにユーザが適切な入力を行うのを支援しユーザの誤りを低減することによって）ユーザ−デバイスインタフェースがより効率的になり、このことにより更に、ユーザがデバイスをより素早くかつ効率的に使用可能になることによって、デバイスの電力使用量が低減されバッテリ寿命が改善される。
【０２７３】
いくつかの実施形態では、ディスプレイ（例えば、６０２）上に、シミュレートされた深度効果を有する画像データ（例えば、８０８）の表現を表示することは、第２の深度（例えば、第４の部分の深度）に基づいて決定された（ぼやけ／鮮明さの）大きさを用いて、第２の部分と既定部分からの距離が同じであり、第２の方式における第２の深度を有する画像データの表現の第４の部分を歪ませること（９１２）を更に含む。正確なシミュレート深度効果を適用するためにユーザが画像データの表現を調整することを可能にすることにより、ユーザが、本来大規模かつ／又はより高価なハードウェア（例えば、専門家のレベルのカメラ）を用いることでしか得ることができないものと同様の画像／写真を作成することを可能にすることで、ユーザの利便性／効率性並びにデバイスの操作性及び多用性が強化される。すなわち、（例えば、光学歪みを介して深度効果を生成可能なデバイスに含まれた／それに取り付けられたカメラセンサ及びレンズをユーザが使用した場合とは対照的に）シミュレートされた深度効果（ソフトウェア効果）により、ユーザは、比較的小型で、かつそれほど高価でないデバイスを利用して、深度効果を画像／写真に適用することが可能になる。次いで、このことによりデバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときにユーザが適切な入力を行うのを支援しユーザの誤りを低減することによって）ユーザ−デバイスインタフェースがより効率的になり、このことにより更に、ユーザがデバイスをより素早くかつ効率的に使用可能になることによって、デバイスの電力使用量が低減されバッテリ寿命が改善される。
【０２７４】
いくつかの実施形態では、ディスプレイ（例えば、６０２）上に、シミュレートされた深度効果を有する画像データ（例えば、８０８）の表現を表示することは、第１の方式で、第１の部分と既定部分（例えば、画像データの表現内の基準点又は焦点）からの距離が同じであり、第１の深度を有する画像データの表現の１つ以上の部分を歪ませること（９１４）を更に含む。したがって、いくつかの実施形態では、同じ深度を有し、画像データの表現の既定部分から同じ距離離れた画像データの表現の部分は、同じように歪む。ユーザが正確なシミュレート深度効果を適用するように画像データの表現を調整することが可能になることにより、ユーザは、本来大規模かつ／又は高価なハードウェア（例えば、専門家のレベルのカメラ）を用いることでしかユーザが得ることができないものと同様の画像／写真を作成することを可能にすることで、ユーザの利便性／効率性並びにデバイスの操作性及び多用性が強化される。すなわち、（例えば、光学歪みを介して深度効果を生成可能なデバイスに含まれた／それに取り付けられたカメラセンサ及びレンズをユーザが使用した場合とは対照的に）シミュレートされた深度効果（ソフトウェア効果）により、ユーザは、比較的小型で、かつそれほど高価でないデバイスを利用して、深度効果を画像／写真に適用することが可能になる。次いで、このことによりデバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときにユーザが適切な入力を行うのを支援しユーザの誤りを低減することによって）ユーザ−デバイスインタフェースがより効率的になり、このことにより更に、ユーザがデバイスをより素早くかつ効率的に使用可能になることによって、デバイスの電力使用量が低減されバッテリ寿命が改善される。
【０２７５】
いくつかの実施形態では、第１の方式で画像データ（例えば、８０８）の表現の第１の部分を歪ませることは、第１の歪み形状（例えば、円形形状又はレモン／楕円型形状）に基づいて（例えば、それを適用することによって）第１の部分を歪ませることを含む。いくつかの実施形態では、第２の方式で画像データの表現の第２の部分を歪ませることは、第１の歪み形状とは異なる第２の歪み形状（例えば、より円形形状又はよりレモン／楕円型形状）に基づいて（例えば、それを適用することによって）、第２の部分を歪ませることを含む。いくつかの実施形態では、第２の部分が、第１の部分よりも所定部分からの距離がより長い（より遠い）場合、第２の部分内の１つ以上のオブジェクト（例えば、発光オブジェクト）は、第１の部分内の１つ以上のオブジェクト（例えば、発光オブジェクト）よりもレモン／楕円型形状になるように形状が歪む。
【０２７６】
いくつかの実施形態では、第１の方式で画像データの表現（例えば、８０８）の第１の部分を歪ませることは、第１の歪みの程度（例えば、第１の部分内の１つ以上のオブジェクトの形状の歪みの程度）だけ第１の部分を歪ませることを含む。いくつかの実施形態では、第２の方式で画像データの表現の第２の部分を歪ませることは、第１の歪みの程度より大きい第２の歪みの程度（例えば、第２の部分内の１つ以上のオブジェクトの形状の歪みの程度）だけ第２の部分を歪ませることを含み、第２の部分は、第１の部分よりも既定部分（例えば、画像データの表現内の基準点又は焦点）からの距離がより大きい（より遠い）。いくつかの実施形態では、画像データの表現の周辺のオブジェクトは、よりレモン／楕円型形状になるように歪むが、既定部分（例えば、中心部分、焦点部分）に近いオブジェクトはそれほど歪まない。いくつかの実施形態では、歪みの程度は、既定部分からの距離が変化するにつれて徐々に変化する（例えば、増大又は減少する）。
【０２７７】
いくつかの実施形態では、第１の方式で第１の部分を歪ませることは、第１の部分を第１の大きさでぼかす（例えば、その鮮明さを非対称にぼかす／変化させる）ことを含む。いくつかの実施形態では、第１の方式で第１の部分を歪ませることは、第２の方式で第２の部分を歪ませることを含み、それは、 第２の部分を第２の大きさでぼかす（例えば、その鮮明さを非対称にぼかす／変化させる）ことを含む。いくつかの実施形態では、第１の部分の既定部分からの距離が既定部分（例えば、画像データの表現内の基準点又は焦点）からの第２の距離 よりも大きいとの判定に従って、第１の大きさは、第２の大きさよりも大きい。いくつかの実施形態では、第２の部分の既定部分からの距離が既定部分（例えば、画像データの表現内の基準点又は焦点）からの第１の部分よりも大きいとの判定に従って、第２の大きさは、第１の大きさよりも大きい。
【０２７８】
いくつかの実施形態では、シミュレートされた深度効果を画像データの表現（例えば、８０８）に適用する要求を受信する前に、電子デバイス（例えば、６００）は、ディスプレイ（例えば、６０２）上に、画像データの表現を表示する。いくつかの実施形態では、画像データの表現を表示している間に、電子デバイス（例えば、６００）は、画像データを使用して（例えば、画像データの分析を介して、及び／又は、カメラデータのライブプレビューにおけるタップ入力など、画像データの表現の領域が被写体を含むことを識別する、ユーザ入力に基づいて）、画像データの表現内の被写体の存在（例えば、人物、人物の少なくとも一部、例えば、人物の顔面又は人物の顔面及び上半身）を検出する。
【０２７９】
いくつかの実施形態では、ディスプレイ（例えば、６０２）上に、シミュレートされた深度効果を有する画像データの表現（例えば、８０８）を表示することは、被写体（の中心部分／領域）に対応する画像データの表現の一部分を歪ませることなく（９１６）、画像の第１の部分及び画像の第２の部分を歪ませることを更に含む。いくつかの実施形態では、被写体に対応する画像データの表現の部分は、画像の第１の部分及び画像の第２の部分よりも歪みが小さい。
【０２８０】
いくつかの実施形態では、画像データの表現の第１の部分を歪ませることは、第１の部分が被写体（の中心部分／領域）に対応しないとの判定に従って、第１の部分を歪ませることを含む。いくつかの実施形態では、画像データの表現の第２の部分を歪ませることは、第２の部分が被写体（の中心部分／領域）に対応しないとの判定に従って、第２の部分を歪ませることを含む。
【０２８１】
いくつかの実施形態では、シミュレートされた深度効果を画像データの表現（例えば、８０８）に適用する要求を受信したことに応じて、電子デバイス（例えば、６００）は、画像データに基づいて（例えば、画像データの分析を介して）、（例えば、発光オブジェクトに関連付けられていない画像データの表現とは対照的に）発光オブジェクト（例えば、８１８Ａ、８１８Ｂ、８１８Ｃ、８１８Ｄ）に関連付けられた画像データの表現内の１つ以上のオブジェクトを識別する（９１８）。
【０２８２】
いくつかの実施形態では、ディスプレイ（例えば、６０２）上に、シミュレートされた深度効果を有する画像データの表現（例えば、８０８）を表示することは、発光オブジェクト（例えば、８２０Ａ、８２０Ｂ）と関連付けられていない（例えば、発光オブジェクトとして識別されていない）画像データの表現の１つ以上の部分に対して、第３の方式で、発光オブジェクト（例えば、８１８Ａ、８１８Ｂ、８１８Ｃ、８１８Ｄ）に関連付けられた（例えば、発光オブジェクトとして識別された）画像データの表現の１つ以上の部分の外観を変更する（９２０）ことを更に含む。いくつかの実施形態では、第３の方式は、第４の方式と比較して、より大きい大きさでオブジェクトをぼかす／鮮明化することを伴う。いくつかの実施形態では、第３の方式は、第４の方式と比較して、より高い程度でオブジェクトの形状を歪ませることを伴う。
【０２８３】
いくつかの実施形態では、第３の方式で発光オブジェクト（例えば、８１８Ａ、８１８Ｂ、８１８Ｃ、８１８Ｄ）に関連付けられた画像データの表現（例えば、８０８）内のオブジェクトの外観を変更することは、発光オブジェクトに関連付けられていない画像データの表現の他の部分に対して、発光オブジェクトに関連付けられている画像データの表現の１つ以上の部分の輝度を増大させる（９２２）こと、発光オブジェクトに関連付けられていない画像データの表現の他の部分に対して、発光オブジェクトに関連付けられている画像データの表現の１つ以上の部分の彩度を増大させる（９２４）こと、及び、発光オブジェクト（例えば、８２０Ａ、８２０Ｂ）に関連付けられていない画像データの表現の他の部分に対して、発光オブジェクトに関連付けられている画像データの表現の１つ以上の部分のサイズを増大させる（９２６）こと、のうち１つ以上を含む。
【０２８４】
いくつかの実施形態では、電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、画像歪みパラメータの値を変更する１つ以上の入力を検出し（９２８）、画像データの表現（例えば、８０８）（の一部）を歪ませることは、（例えば、パラメータを制御するための調整可能スライダの移動を介して）画像歪みパラメータの値を選択する１つ以上のユーザ入力に基づくものである（及びそれに応答するものである）。いくつかの実施形態では、調整可能スライダ（例えば、８２２）は、画像データの表現を歪ませるように（例えば、シミュレートされた深度効果をそれに適用する）ように調整される。いくつかの実施形態では、画像データの表現を歪ませるための調整可能スライダを提供することにより、ユーザは、画像データの表現を歪ませるために画像歪みパラメータの値を変更するための１つ以上の入力を迅速かつ容易に提供することが可能となる。追加の制御オプションを提供し、動作を実行するために必要な入力の数を低減することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−デバイスインタフェースがより効率的になり、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が低減され、デバイスのバッテリ寿命が改善される。いくつかの実施形態では、画像歪みパラメータの値を変更する１つ以上の入力（例えば、８０３、８０５）を検出したことに応じて、発光オブジェクト（例えば、８２０Ａ、８２０Ｂ）に関連付けられていない画像データの表現の他の部分に対して、発光オブジェクト（例えば、８１８Ａ、８１８Ｂ、８１８Ｃ、８１８Ｄ）に関連付けられている画像データの表現の１つ以上の部分の外観の変化の大きさを変更する（９３０）（例えば、歪みパラメータが徐々に増大する（かつ、シミュレートされた焦点面の外側の時間画像の領域のぼやけが徐々に増加する）につれて、データの表現の他の部分に対して、発光源に関連付けられたオブジェクトの輝度、サイズ、及び／又は、彩度を徐々に増大させ、また、歪みパラメータが徐々に減少する（かつシミュレートされた焦点面の外側の時間画像の領域のぼやけが徐々に減少する）につれて、データの表現の他の部分に対して、発光源に関連付けられたオブジェクトの輝度、サイズ、及び／又は彩度を徐々に減少させる）。
【０２８５】
方法９００（例えば、図９Ａ〜図９Ｂ）に関して前述したプロセスの詳細はまた、前述及び後述の方法にも類似の方式で適用可能であることに留意されたい。例えば、方法７００は、方法９００を参照して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、方法７００に記載される深度調整スライダは、シミュレートされた深度効果を画像表現内のオブジェクトに適用するために使用することができる。別の例では、方法１１００は、方法９００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、方法１１００に記載されているように、検出された干渉に関する通知は、深度効果をシミュレートするために使用される１つ以上の深度センサを妨害し得る検出された磁気干渉に関連付けることができる。簡潔にするために、これらの詳細は、以下で繰り返さない。
【０２８６】
図１０Ａ〜図１０Ｆは、いくつかの実施形態に係る、シミュレートされた画像効果（例えば、ボケ効果などのシミュレートされた深度効果）を調整する干渉を示すための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１１のプロセスを含めた、以下で説明されるプロセスを説明するために使用される。
【０２８７】
図１０Ａは、電子デバイス６００の背面図を示す。いくつかの実施形態では、電子デバイス６００は、１つ以上の背面カメラ６０８、及び１つ以上の後方深度カメラセンサ１００２（例えば、深度カメラセンサ１７５と同様）を含む。いくつかの実施形態では、１つ以上の背面カメラ６０８は、１つ以上の後方深度カメラセンサ１００２と統合される。
【０２８８】
図１０Ｂは、ディスプレイ６０２を有する電子デバイス６００の正面図を示す。いくつかの実施形態では、電子デバイス６００は、１つ以上の前面カメラ６０６、及び１つ以上の前方深度カメラセンサ１００４を含む。いくつかの実施形態では、１つ以上の前面カメラ６０６は、１つ以上の後方深度カメラセンサ１００４と統合される。
【０２８９】
図１０Ｂでは、電子デバイス６００は、ディスプレイ６０２上に、画像キャプチャアプリケーションを起動するためのアフォーダンス１００６を表示する。更に図１０Ｂでは、アフォーダンス１００６を表示している間に、電子デバイスは、アフォーダンス１００６のアクティブ化１００１を（例えば、ディスプレイ６０２のタッチ感知面を介して）検出する。
【０２９０】
図１０Ｃでは、画像キャプチャアプリケーションを起動するためのアフォーダンス１００６のアクティブ化１００１を検出したことに応じて、電子デバイス６００は、ディスプレイ６０２上に、（例えば、ユーザインタフェース６１４及びユーザインタフェース８０４に対応する）画像キャプチャアプリケーションのユーザインタフェース１００８を表示する。画像キャプチャアプリケーションを起動すると（又は、その前に／それに応じて）、電子デバイス６００は、画像キャプチャアプリケーションのシミュレートされた画像効果機能（例えば、図６Ａ〜図６Ｔ及び図８Ａ〜図８Ｍを参照して上述したシミュレートされた深度効果）を実行するために使用される、１つ以上のセンサ（例えば、デバイスの１つ以上の深度センサ１００２及び１００４）を妨害し又は遅らせ得る干渉（例えば、デバイスのアクセサリからなどの、磁気干渉又は他の外部干渉）を検出しない。したがって、電子デバイス６００は、干渉の存在を示す通知を表示しない。
【０２９１】
図１０Ｄは、デバイスが保護ケース１０１０（例えば、スマートフォンケース）によって少なくとも部分的に覆われている電子デバイス６００の背面図を示す。保護ケース１０１０は、電子デバイス６００の１つ以上のセンサによって検出可能な（例えば、ケース及びデバイスを、車マウントなどのホルダに留めるための、外部バッテリケースの一部である磁気部品）磁気部品１０１２を含む。
【０２９２】
図１０Ｅは、保護ケース１０１０によって少なくとも部分的に覆われた電子デバイス６００の正面図を示す。図１０Ｅでは、電子デバイス６００は、画像キャプチャアプリケーションを起動するためのアフォーダンス１００６をディスプレイ６０２上に表示する。更に図１０Ｂ では、アフォーダンス１００６を表示している間に、電子デバイスは、アフォーダンス１００６のアクティブ化１００３を（例えば、ディスプレイ６０２のタッチ感知面を介して）検出する。
【０２９３】
図１０Ｆでは、画像キャプチャアプリケーションを起動するためのアフォーダンス１００６のアクティブ化１００３を検出したことに応じて、電子デバイス６００は、ディスプレイ６０２上に、（例えば、ユーザインタフェース６１４及びユーザインタフェース８０４に対応する）画像キャプチャアプリケーションのユーザインタフェース１００８を表示する。画像キャプチャアプリケーションを起動すると（又はその前に／それに応じて）、電子デバイス６００は、保護ケース１０１０の磁気部品１０１２からの干渉（例えば、磁気干渉）を検出する。
【０２９４】
図１０Ｆに示すように、干渉を検出したことに応じて、電子デバイス６００は、干渉が検出されたことを示す通知１０１４を（例えば、画像キャプチャアプリケーションのユーザインタフェース１００８上に）表示し、干渉のために、１つ以上のシミュレートされた画像効果特徴（例えば、図６Ａ〜図６Ｔ及び図８Ａ〜図８Ｍを参照して上述したシミュレートされた深度効果特徴を含む）は、検出された干渉によって影響を受ける場合がある。いくつかの実施形態では、通知１０１４はまた、通知を閉じるための、及び、干渉の存在にもかかわらずシミュレートされた画像効果特徴の使用を継続するためのアフォーダンス１０１６を含む。
【０２９５】
いくつかの実施形態では、電子デバイス６００は、所定回数のインスタンス（例えば、保護ケース１０１０の磁気部品１０１２から）の干渉の存在を事前に検出した後に（例えば、画像キャプチャアプリケーションを起動し、３、５又は７回の干渉を検出した後に）、通知１０１４を表示する。したがって、いくつかの実施形態では、干渉の検出についての以前のインスタンスが存在しなかった場合、電子デバイス６００は、保護ケース１０１０の磁気部品１０１２からの干渉を検出したにもかかわらず、画像キャプチャアプリケーションを起動する際、通知１０１４を表示することを見合わせる。
【０２９６】
いくつかの実施形態では、通知１０１４が既に事前にデバイス上に提示されている場合、電子デバイス６００は、通知１０１４が以前に表示された場合よりも多くのインスタンスで、（例えば、保護ケース１０１０の磁気部品１０１２からの）干渉の存在を検出した後に新しい通知１０１４を表示する。例えば、画像キャプチャアプリケーションを前に３回起動した上で干渉を検出した後に、以前の通知１０１４が表示された場合、電子デバイス６００は、画像キャプチャアプリケーションを前に５回起動した上で干渉を検出するまで、新しい通知１０１４を表示するのを見合わせる。
【０２９７】
いくつかの実施形態では、通知１０１４が既にデバイス上に所定回数提示されている場合、電子デバイス６００は、干渉の検出についての後続のインスタンスにもかかわらず通知を提示することを見合わせる。
【０２９８】
いくつかの実施形態では、アフォーダンス１０１６のアクティブ化を検出したことに応じて、電子デバイス６００は、画像効果の１つ以上の特徴が利用不可能になる又は使用のために必要最低限になるように、（例えば、シミュレートされた深度効果を含む）１つ以上のシミュレートされた画像効果のモードを変更する。
【０２９９】
図１１は、いくつかの実施形態に係る、シミュレートされた画像効果を調整する干渉を示すためのユーザインタフェースを管理する方法を示すフロー図である。方法１１００は、ディスプレイ及び１つ以上のカメラを含む１つ以上のセンサ（例えば、１つ以上のカメラ、電子デバイスの外部にあるソースから生じる磁気干渉などの干渉を検出可能な干渉検出器）を有するデバイス（例えば、１００、３００、５００、６００）で実行される。方法１１００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
【０３００】
後述するように、方法１１００は、シミュレートされた深度効果のためのユーザインタフェースを管理するための直感的方法を提供する。この方法は、シミュレートされた深度効果のためのユーザインタフェースを管理しナビゲートするためのユーザの認識的負担を軽減し、それにより、より効率的なヒューマン−マシンインタフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、深度効果をシミュレートするためのユーザインタフェースの容易な管理を提供することにより、ユーザがユーザインタフェースをより高速かつより効率的にナビゲートすることを可能にすることで、電力を節約し、バッテリ充電間の時間を増加させる。
【０３０１】
ディスプレイ（例えば、６０２）上にカメラアプリケーション（例えば、１００８）のユーザインタフェースを表示している間に、電子デバイス（例えば、６００）は、１つ以上のセンサを介して、１つ以上のカメラ（例えば、６０６、６０８）のそれぞれの機能の動作を害する（例えば、１０１２からの）（例えば、デバイスの保護ケース又はデバイス上の外部取り付けなどの、電子デバイスに取り付けられた、それに固定される、それを覆う、又はその近くに配置されるアクセサリからの）外部干渉（例えば、磁気干渉、電子デバイスの１つ以上のカメラ関連機能（例えば、１つ以上の深度効果関連機能）に影響を及ぼす干渉）を検出する（１１０２）。１つ以上のカメラのそれぞれの機能の動作を害する外部干渉を自動的に検出することにより、デバイスの１つ以上の機能に影響を及ぼす外部干渉があるかどうかをユーザが手動で確認する必要性を回避することが可能になることで、デバイスを制御するためにユーザから要求される入力数が低減される。動作を実行するために必要な入力数を低減することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−デバイスインタフェースがより効率的になり、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が低減され、デバイスのバッテリ寿命が改善される。更に、１つ以上のカメラのそれぞれの機能の動作を害する外部干渉を自動的に検出し、ユーザにその検出を通知することにより、問題を修正するオプションをユーザに提供しながら、依然として、デバイスは低減した動作レベルで動作し続けることが可能になる。これにより、デバイスの操作性が強化され、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−デバイスインタフェースがより効率的になり、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用量が低減され、バッテリ寿命が改善される。
【０３０２】
いくつかの実施形態では、それぞれの機能は、電子デバイス（例えば、６００）の１つ以上のカメラ（例えば、６０６、６０８）のフォーカス機能である（１１０４）。
【０３０３】
いくつかの実施形態では、干渉は、（例えば、１０１２からの）磁気干渉である（１１０６）。
【０３０４】
いくつかの実施形態では、干渉は、電子デバイス（例えば、６００）のアクセサリ（例えば、１０１０）（例えば、電子デバイス用の保護外側ケース又はカバー（例えば、バッテリを組み込んだケース又はカバー）、電子デバイスに固定された／取り付けられた磁気ステッカー又は取付部品）からのもの（例えば、それによって引き起こされるもの、又はそのために検出されるもの）である（１１０８）。
【０３０５】
いくつかの実施形態では、１つ以上のカメラ（例えば、６０６、６０８）のそれぞれの機能の動作を害する（例えば、１０１２からの）外部干渉を検出することは、電子デバイス上で（例えば、カメラアプリケーション用のユーザインタフェースを表示するためのユーザ要求に応じて）カメラアプリケーション用のユーザインタフェース（例えば、１００８）を表示する際に外部干渉を検出することを含む。いくつかの実施形態では、電子デバイス（例えば、６００）は、カメラアプリケーション用のユーザインタフェースが表示されたときだけ、１つ以上のカメラのそれぞれの機能の動作を害する外部干渉を検出し、カメラアプリケーション用のユーザインタフェースが表示された後、又はカメラアプリケーション用のユーザインタフェースが電子デバイス上に表示されていないときは、外部干渉を検出しない。カメラアプリケーション用のユーザインタフェースが表示されているときだけ、外部干渉を検出し、カメラアプリケーション用のユーザインタフェースが表示された後、又はカメラアプリケーション用のユーザインタフェースが表示されないときは外部干渉を検出しないことにより、外部干渉によって影響を受け得る機能がデバイス上で使用され得るときの、外部干渉の検出による電力消費が低減される。電力消費を低減することにより、デバイスのバッテリ寿命を改善することでデバイスの操作性が向上する。
【０３０６】
電子デバイス（例えば、６００）の外部の（例えば、１０１２からの）干渉を検出した（１１１０）ことに応じて、第１の基準が満たされた（例えば、現在の発生を含む、カメラアプリケーションが電子デバイス上で以前に起動されたときに検出された発生など、少なくとも所定回数の干渉の以前の発生が検出された）との判定に従って、電子デバイスは、１つ以上のカメラ（例えば、６０６、６０８）のそれぞれの機能に対する外部干渉の影響を低減するように１つ以上のカメラの動作モード（例えば、深度効果モード）が変更されていることを示す通知（例えば、１０１４）をディスプレイ（例えば、６０２）上に表示する（１１１２）。１つ以上のカメラの動作モード（例えば、深度効果モード）が、１つ以上のカメラのそれぞれの機能に対する外部干渉の影響を低減するように変更されたことを示す通知を表示することにより、デバイスが、外部干渉の影響を低減するように１つ以上のカメラの動作モード（例えば、深度効果モード）を変更したことを、ユーザが迅速かつ容易に認識することが可能になることで、視覚的フィードバックが改善される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０３０７】
電子デバイス（例えば、６００）の外部の干渉を検出した（１１１０）ことに応じて、第１の基準が満たされていない（例えば、現在の発生を含む、以前の干渉の発生が少ない回数しか検出されなかった）との判定に従って、電子デバイス（例えば、６００）は、１つ以上のカメラ（例えば、６０６、６０８）の動作モード（例えば、深度効果モード）が変更されたことを示す通知（例えば、１０１４）をディスプレイ（例えば、６０２）上に表示するのを見合わせる（１１２０）。以前の干渉の発生が所定の回数より少ない回数しか検出されなかった場合に通知を表示するのを見合わせることにより、（例えば、デバイスのアクセサリからの永続的な干渉検出とは対照的に）１回限りの干渉検出イベントの通知を提供することを見合わせることで、デバイス機能性が強化され、 改善される。不必要な通知の提供を見合わせることにより、ユーザの利便性及びデバイスの操作性が強化され、ユーザ−デバイスインタフェースがより効率的になり、これにより、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命が改善する。
【０３０８】
いくつかの実施形態では、第１の基準は、電子デバイス（例えば、６００）による（例えば、１０１２からの）外部干渉を検出する第１の所定量（例えば、５、７、１１）の（個別のインスタンスの）発生が検出されたときに満たされる要件を含む（１１１４）。したがって、いくつかの実施形態では、外部インタフェース の所定回数の個別の検出が通知の表示をトリガするために必要となる。いくつかの実施形態では、ユーザが１つ以上のカメラのそれぞれの機能を利用するようにカメラアプリケーションを使用しようと試み、デバイスが１つ以上のカメラのそれぞれの機能を使用可能であるかどうかを判定するためにデバイスが外部干渉を確認し、外部干渉が存在することを判定するときに、外部干渉の検出の個別の発生が生じる。いくつかの実施形態では、デバイスは、所定の間隔（例えば、１時間に１回、１日に１回、カメラアプリケーションが使用される日ごとの初回）で外部干渉を確認する。
【０３０９】
いくつかの実施形態では、第１の所定回数は、通知（例えば、１０１４）が電子デバイス（例えば、６００）上に以前に表示された回数に依存する（例えば、それに基づいて変化する）（１１１６）。いくつかの実施形態では、通知をトリガするために必要とされる外部インタフェース の検出の第１の所定の回数は、電子デバイスが既に表示した通知数に基づいて累進的に増加する。例えば、特定の回数（例えば、３回）の外部干渉の個別検出が、第１の通知の表示をトリガするために必要とされる場合、より多い回数（例えば、５回）の外部干渉の個別検出が、第２の通知の表示をトリガするために必要とされ、更に多い回数の外部干渉の個別検出（例えば、７回の外部干渉の個別検出）が、第３の通知の表示をトリガするために必要とされる。通知をトリガするために必要とされる外部インタフェース の検出の第１の所定の回数を累進的に増加させることにより、ユーザが（以前の通知に基づいて）干渉に既に気づいていることがあるが、その干渉を無視することを選択している場合には、あまりに頻繁に通知を表示するのを見合わせることで、ユーザの利便性が向上する。ユーザの利便性が強化されることにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときにユーザが適切な入力を行うのを支援しユーザの誤りを低減することによって）ユーザ−デバイスインタフェースがより効率的になり、このことにより更に、ユーザがデバイスをより素早くかつ効率的に使用できるようになることで、電力使用量を低減し、デバイスのバッテリ寿命が改善する。
【０３１０】
いくつかの実施形態では、通知（例えば、１０１４）をディスプレイ（例えば、６０２）上に表示することは、通知が第２の所定の回数未満しか以前に電子デバイス（例えば、６００）上に表示されていないという判定に従って、通知を表示することを含む。いくつかの実施形態では、少なくとも第２の所定の回数の通知が電子デバイス上に以前に表示されている場合、電子デバイスは（第１の基準が満たされているかどうかにかかわらず）通知を表示することを見合わせる。
【０３１１】
いくつかの実施形態では、１つ以上のカメラ（例えば、６０６、６０８）のそれぞれの機能に対する（例えば、１０１２からの）外部干渉の影響を低減するような１つ以上のカメラの動作モードへの変更（１１１８）は、１つ以上のカメラの１つ以上の機能（例えば、シミュレートされた深度効果関連機能、光学画像安定化、オートフォーカス、及び／又は、機械的構成要素の近くの強力な磁場の存在により悪影響を受ける可能性がある機械的構成要素の正確な動きを必要とする動作）の応答性を低減すること（又は、低下させること、漸減すること）（又は機能のうちの１つ以上を完全に無効にする）ことを含み、この１つ以上の機能は、外部干渉が電子デバイスにより検出されている間に、確実に実行できない機能に１つ以上のカメラによって対応する。
【０３１２】
方法１１００（図１１）に関して上述したプロセスの詳細はまた、上述及び後述する方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法７００は、方法１１００を参照して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、方法７００に記載されるように、深度調整スライダを使用してシミュレートされた深度効果を調整することは、深度効果をシミュレートするために使用される１つ以上の深度センサを妨害する場合がある磁気干渉により影響を受ける場合がある。別の例では、方法９００は、方法１１００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、方法９００に記載されるように、シミュレートされた深度効果を画像表現内のオブジェクトに適用することは、深度効果をシミュレートするために使用される１つ以上の深度センサを妨害する場合がある磁気干渉によって影響を受ける場合がある。簡潔にするために、これらの詳細は、以下で繰り返さない。
【０３１３】
上記の説明は、説明のため、特定の実施形態について述べられたものである。しかしながら、上記の例示的な考察は、網羅的であることを意図するものでもないし、又は本発明を開示される厳密な形態に限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本技法の原理、及びそれらの実際の適用を最もよく説明するために、実施形態が選択及び記載されている。それにより、他の当業者は、意図された具体的な用途に適するような様々な修正を用いて、本技法及び様々な実施形態を最も良好に利用することが可能となる。
【０３１４】
添付図面を参照して、本開示及び例を十分に説明してきたが、様々な変更及び修正が当業者には明らかとなることに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるような、本開示及び実施例の範囲内に含まれるものとして理解されたい。
【０３１５】
上述のように、本技術の一態様は、ライブフィード並びに／又は格納された写真及び画像に適用することができるシミュレートされた画像効果特徴の機能性及び汎用性を改善するために、様々なソースから入手可能なデータの収集及び使用である。本開示は、いくつかの例において、この収集されたデータが、特定の人を一意に特定する個人情報データ、又は特定の人物に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを考察する。そのような個人情報データとしては、人口統計データ、位置ベースのデータ、電話番号、電子メールアドレス、ツイッターＩＤ、自宅の住所、ユーザの健康若しくはフィットネスのレベルに関するデータ若しくは記録（例えば、バイタルサイン測定値、投薬情報、運動情報）、誕生日、又は任意の他の識別情報若しくは個人情報を挙げることができる。
【０３１６】
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データを使用して、キャプチャされた画像又は写真内の人物若しくは被写体を認識することができる。したがって、このような個人情報データを使用することにより、ユーザは、キャプチャされた画像又は写真のコンテンツを容易に認識し、そのような撮影画像又は写真を編成することができる。更に、ユーザに利益をもたらす、個人情報データに関する他の使用もまた、本開示によって考察される。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスについての洞察を提供するために使用することができ、又は、ウェルネスの目標を追求するための技術を使用している個人への、積極的なフィードバックとして使用することもできる。
【０３１７】
本開示は、そのような個人情報データの収集、分析、開示、転送、記憶、又は他の使用に関与する実体が、確固たるプライバシーポリシー及び／又はプライバシー慣行を遵守することを想到する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能であるべきであり、データの収集及び／又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有又は販売されるべきではない。更に、そのような収集／共有は、ユーザに告知して同意を得た後に実施されるべきである。更に、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセスを有する他者が、それらのプライバシーポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更に、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。更に、ポリシー及び慣行は、収集及び／又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含めた、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集又はアクセスは、医療保険の相互運用性と説明責任に関する法律（Health Insurance Portability and Accountability Act、ＨＩＰＡＡ）などの、連邦法及び／又は州法によって管理することができ、その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国の異なる個人データのタイプに対して、異なるプライバシー慣行が保たれるべきである。
【０３１８】
前述のことがらにも関わらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するように、ハードウェア要素及び／又はソフトウェア要素を提供できることを考察する。例えば、画像又は写真内の人物若しくは被写体を検出及び認識する場合、本技術は、ユーザが、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択できるように構成され得る。「オプトイン」及び「オプトアウト」の選択肢を提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを考察する。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。
【０３１９】
更には、本開示の意図は、個人情報データを、意図していない又は許可されていないアクセス又は使用のリスクを最小限に抑えるように管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなった時点で削除することによって、危険性を最小限に抑えることができる。更に、適用可能な場合、特定の健康関連アプリケーションにおいて、ユーザのプライバシーを保護するために、データの非特定化を使用することができる。非特定化は、適切な場合には、特定の識別子（例えば、生年月日など）を除去すること、記憶されたデータの量又は特異性を制御すること（例えば、位置データを住所レベルよりも都市レベルで収集すること）、データがどのように記憶されるかを制御すること（例えば、データをユーザ全体にわたって情報集約すること）及び／又は他の方法によって、容易にすることができる。
【０３２０】
それゆえ、本開示は、１つ以上の様々な開示された実施形態を実施するような個人情報データの使用を広範に網羅するものではあるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、様々な実施形態を実施することもまた可能であることを想到している。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部分が欠如することにより、実施不可能となるものではない。例えば、画像又は写真は、非個人情報データ又は最低限の個人情報、又は画像若しくは写真に関連付けられた日付及び時間などの公に入手可能な情報に基づいて編成することができる。
【図１Ａ】
2021536059.tif 000003
【図１Ｂ】
2021536059.tif 000004
【図２】
2021536059.tif 000005
【図３】
2021536059.tif 000006
【図４Ａ】
2021536059.tif 000007
【図４Ｂ】
2021536059.tif 000008
【図５Ａ】
2021536059.tif 000009
【図５Ｂ】
2021536059.tif 000010
【図６Ａ】
2021536059.tif 000011
【図６Ｂ】
2021536059.tif 000012
【図６Ｃ】
2021536059.tif 000013
【図６Ｄ】
2021536059.tif 000014
【図６Ｅ】
2021536059.tif 000015
【図６Ｆ】
2021536059.tif 000016
【図６Ｇ】
2021536059.tif 000017
【図６Ｈ】
2021536059.tif 000018
【図６Ｉ】
2021536059.tif 000019
【図６Ｊ】
2021536059.tif 000020
【図６Ｋ】
2021536059.tif 000021
【図６Ｌ】
2021536059.tif 000022
【図６Ｍ】
2021536059.tif 000023
【図６Ｎ】
2021536059.tif 000024
【図６Ｏ】
2021536059.tif 000025
【図６Ｐ】
2021536059.tif 000026
【図６Ｑ】
2021536059.tif 000027
【図６Ｒ】
2021536059.tif 000028
【図６Ｓ】
2021536059.tif 000029
【図６Ｔ】
2021536059.tif 000030
【図７Ａ】
2021536059.tif 000031
【図７Ｂ】
2021536059.tif 000032
【図８Ａ】
2021536059.tif 000033
【図８Ｂ】
2021536059.tif 000034
【図８Ｃ】
2021536059.tif 000035
【図８Ｄ】
2021536059.tif 000036
【図８Ｅ】
2021536059.tif 000037
【図８Ｆ】
2021536059.tif 000038
【図８Ｇ】
2021536059.tif 000039
【図８Ｈ】
2021536059.tif 000040
【図８Ｉ】
2021536059.tif 000041
【図８Ｊ】
2021536059.tif 000042
【図８Ｋ】
2021536059.tif 000043
【図８Ｌ】
2021536059.tif 000044
【図８Ｍ】
2021536059.tif 000045
【図８Ｎ】
2021536059.tif 000046
【図８Ｏ】
2021536059.tif 000047
【図８Ｐ】
2021536059.tif 000048
【図８Ｑ】
2021536059.tif 000049
【図８Ｒ】
2021536059.tif 000050
【図９Ａ】
2021536059.tif 000051
【図９Ｂ】
2021536059.tif 000052
【図１０Ａ】
2021536059.tif 000053
【図１０Ｂ】
2021536059.tif 000054
【図１０Ｃ】
2021536059.tif 000055
【図１０Ｄ】
2021536059.tif 000056
【図１０Ｅ】
2021536059.tif 000057
【図１０Ｆ】
2021536059.tif 000058
【図１１】
2021536059.tif 000059
【手続補正書】
【提出日】令和2年2月14日(2020.2.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ディスプレイ及び１つ以上の入力デバイスを有する電子デバイスにおいて、
前記ディスプレイ上に画像データの表現、及びシミュレートされた深度効果インジケータを表示することであって、前記シミュレートされた深度効果インジケータは前記シミュレートされた深度効果の現在の大きさの数値指示を含むようにする、ことと、
前記シミュレートされた深度効果に関する複数の選択可能値のうちの第１の値によって修正された、シミュレートされた深度効果を有する画像データの前記表現を表示する間に、前記１つ以上の入力デバイスを介して、第１の入力を検出することと、
前記第１の入力を検出したことに応じて、
画像データの前記表現を操作することに関連付けられた調整可能スライダを、前記シミュレートされた深度効果インジケータと同時に、前記ディスプレイ上に表示し、前記調整可能スライダを表示することは、前記ディスプレイ上に、画像データの前記表現をスライドし、前記調整可能スライダを表示することを含み、前記スライダは、前記ディスプレイ上の前記画像データの前記表現をスライドした後、前記スライダの上に表示される前記画像データの前記表現の一部によって事前に占有された場所に表示されることであって、前記調整可能スライダは、
前記シミュレートされた深度効果に関する前記複数の選択可能値に対応する複数のオプションインジケータと、
前記第１の値が現在選択されたシミュレートされた深度効果値であることを示す選択インジケータと、
を含む、ことと、
前記調整可能スライダを表示している間に、前記１つ以上の入力デバイスを介して、前記調整可能スライダへの入力を検出することと、
前記調整可能スライダへの前記入力を検出したことに応じて、
前記シミュレートされた深度効果に関する前記複数の選択可能値のうちの第２の値が前記現在選択されたシミュレートされた深度効果値であることを示すように前記調整可能スライダを移動させることと、
前記第２の値によって修正された前記シミュレートされた深度効果に従って、画像データの前記表現の外観を変更することと、
画像データの前記表現の前記外観を変更したことに続いて、
前記ディスプレイ上に、前記シミュレートされた深度効果インジケータを表示することであって、前記シミュレートされた深度効果インジケータは、前記シミュレートされた深度効果の前記現在の大きさの更新された数値指示を含み、前記更新された深度効果は前記第２の値に対応するようにすることと、
を含む、方法。
【請求項２】
前記第１の入力を検出する前に、前記シミュレートされた深度効果インジケータは第１の視覚特性で表示され、
前記第１の入力を検出した後、前記シミュレートされた深度効果インジケータは前記第１の視覚特性とは異なる第２の視覚特性で表示される、
請求項１に記載の方法。
【請求項３】
前記第１の入力を検出する前に、１つ以上のモードセレクタアフォーダンスを前記ディスプレイ上に表示することを更に含み、
前記調整可能スライダを表示することは、前記１つ以上のモードセレクタアフォーダンスの表示を前記調整可能スライダと置き換えることを含む、
請求項１又は２に記載の方法。
【請求項４】
前記第１の入力を検出する前に、ズーム制御要素を前記ディスプレイ上に表示することを更に含み、
前記調整可能スライダを表示することは、前記ズーム制御要素の表示を置き換えることを含む、
請求項１乃至３のいずれか一項に記載の方法。
【請求項５】
前記調整可能スライダへの前記入力は、前記調整可能スライダ上のスワイプジェスチャであり、前記スワイプジェスチャは、前記スワイプジェスチャの終了時に少なくとも第１の速度を有する第１の方向へのユーザの動きを含む、請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記調整可能スライダを移動させることは、前記選択インジケータが固定されたままである間に前記複数のオプションインジケータを移動させることを含む、請求項１乃至５のいずれか一項に記載の方法。
【請求項７】
前記調整可能スライダを移動させることは、前記複数のオプションインジケータが固定されたままである間に前記選択インジケータを移動させることを含む、請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
前記調整可能スライダを移動させている間に、前記調整可能スライダによって制御されるパラメータに対して異なる値が選択されると、前記調整可能スライダの前記移動と同期して第１のタイプの出力を生成すること、
を更に含む、請求項１乃至７のいずれか一項に記載の方法。
【請求項９】
前記調整可能スライダを移動させる間に、
画像データの前記表現が記憶された画像データに対応するとの判定に従って、前記第１のタイプの出力はオーディオ出力を含み、
画像データの前記表現が前記１つ以上のカメラによってキャプチャされている画像データのライブプレビューに対応するとの判定に従って、前記第１のタイプの出力はオーディオ出力を含まない、
請求項８に記載の方法。
【請求項１０】
画像データの前記表現を前記ディスプレイ上に表示することは、
画像データの前記表現が記憶された画像データに対応するとの判定に従って、前記シミュレートされた深度効果に関する以前の第１の値によって事前に修正された以前のシミュレートされた深度効果を有する画像データの前記表現を表示すること、
を更に含む、請求項１乃至９のいずれか一項に記載の方法。
【請求項１１】
ディスプレイ及び１つ以上の入力デバイスを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、請求項１乃至１０のいずれか一項に記載の方法を実行する命令を含む、コンピュータ可読記憶媒体。
【請求項１２】
ディスプレイと、
１つ以上の入力デバイスと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える電子デバイスであって、前記１つ以上のプログラムは、請求項１乃至１０のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。
【請求項１３】
ディスプレイと、
１つ以上の入力デバイスと、
請求項１乃至１０のいずれか一項に記載の方法を実行する手段と、
を備える、電子デバイス。
【請求項１４】
ディスプレイ及び１つ以上の入力デバイスを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
前記ディスプレイ上に画像データの表現及びシミュレートされた深度効果インジケータを表示し、前記シミュレートされた深度効果インジケータは、前記シミュレートされた深度効果の現在の大きさの数値指示を含み、
前記シミュレートされた深度効果に関する複数の選択可能値のうちの第１の値によって修正された、シミュレートされた深度効果を有する画像データの前記表現を表示する間に、前記１つ以上の入力デバイスを介して、第１の入力を検出し、
前記第１の入力を検出したことに応じて、
画像データの前記表現を操作することに関連付けられた調整可能スライダを、前記シミュレートされた深度効果インジケータと同時に、前記ディスプレイ上に表示し、前記調整可能スライダを表示することは、前記ディスプレイ上に、画像データの前記表現をスライドし、前記調整可能スライダを表示することを含み、前記スライダは、前記ディスプレイ上の前記画像データの前記表現をスライドした後、前記スライダの上に表示される前記画像データの前記表現の一部によって事前に占有された場所に表示され、前記調整可能スライダは、
前記シミュレートされた深度効果に関する前記複数の選択可能値に対応する複数のオプションインジケータと、
前記第１の値が現在選択されたシミュレートされた深度効果値であることを示す選択インジケータと、を含み、
前記調整可能スライダを表示している間に、前記１つ以上の入力デバイスを介して、前記調整可能スライダへの入力を検出し、
前記調整可能スライダへの前記入力を検出したことに応じて、
前記シミュレートされた深度効果に関する前記複数の選択可能値のうちの第２の値が前記現在選択されたシミュレート深度効果値であることを示すように前記調整可能スライダを移動させ、
前記第２の値によって修正された前記シミュレートされた深度効果に従って、画像データの前記表現の外観を変更し、
画像データの前記表現の前記外観を変更したことに続いて、
前記ディスプレイ上に、前記シミュレートされた深度効果インジケータを表示し、前記シミュレートされた深度効果インジケータは、前記シミュレートされた深度効果の前記現在の大きさの更新された数値指示を含み、前記更新された深度効果は前記第２の値に対応するようにする、
命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項１５】
ディスプレイと、
１つ以上の入力デバイスと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える電子デバイスであって、前記１つ以上のプログラムは、
前記ディスプレイ上に画像データの表現及びシミュレートされた深度効果インジケータを表示し、前記シミュレートされた深度効果インジケータは、前記シミュレートされた深度効果の現在の大きさの数値指示を含み、
前記シミュレートされた深度効果に関する複数の選択可能値のうちの第１の値によって修正された、シミュレートされた深度効果を有する画像データの前記表現を表示する間に、前記１つ以上の入力デバイスを介して、第１の入力を検出し、
前記第１の入力を検出したことに応じて、
画像データの前記表現を操作することに関連付けられた調整可能スライダを、前記シミュレートされた深度効果インジケータと同時に、前記ディスプレイ上に表示し、前記調整可能スライダを表示することは、前記ディスプレイ上に、画像データの前記表現をスライドし、前記調整可能スライダを表示することを含み、前記スライダは、前記ディスプレイ上の前記画像データの前記表現をスライドした後、前記スライダの上に表示される前記画像データの前記表現の一部によって事前に占有された場所に表示され、前記調整可能スライダは、
前記シミュレートされた深度効果に関する前記複数の選択可能値に対応する複数のオプションインジケータと、
前記第１の値が現在選択されたシミュレートされた深度効果値であることを示す選択インジケータと、を含み、
前記調整可能スライダを表示している間に、前記１つ以上の入力デバイスを介して、前記調整可能スライダへの入力を検出し、
前記調整可能スライダへの前記入力を検出したことに応じて、
前記シミュレートされた深度効果に関する前記複数の選択可能値のうちの第２の値が前記現在選択されたシミュレート深度効果値であることを示すように前記調整可能スライダを移動させ、
前記第２の値によって修正された前記シミュレートされた深度効果に従って、画像データの前記表現の外観を変更し、
画像データの前記表現の前記外観を変更したことに続いて、
前記ディスプレイ上に、前記シミュレートされた深度効果インジケータを表示し、前記シミュレートされた深度効果インジケータは、前記シミュレートされた深度効果の前記現在の大きさの更新された数値指示を含み、前記更新された深度効果は前記第２の値に対応するようにする、
命令を含む、電子デバイス。
【請求項１６】
ディスプレイと、
１つ以上の入力デバイスと、
前記ディスプレイ上に画像データの表現及び深度効果インジケータを表示する手段であって、前記シミュレートされた深度効果インジケータは、前記シミュレートされた深度効果の現在の大きさの数値指示を含む、手段と、
前記シミュレートされた深度効果に関する複数の選択可能値のうちの第１の値によって修正された、シミュレートされた深度効果を有する画像データの前記表現を表示する間に、前記１つ以上の入力デバイスを介して、第１の入力を検出する、手段と、
前記第１の入力を検出したことに応じて、
前記画像データの表現を操作することに関連付けられた調整可能スライダを、前記シミュレートされた深度効果インジケータと同時に、前記ディスプレイ上に表示する手段であって、前記調整可能スライダを表示することは、前記ディスプレイ上に、画像データの前記表現をスライドし、前記調整可能スライダを表示することを含み、前記スライダは、前記ディスプレイ上の前記画像データの前記表現をスライドした後、前記スライダの上に表示される前記画像データの前記表現の一部によって事前に占有された場所に表示され、前記調整可能スライダは、
前記シミュレートされた深度効果に関する前記複数の選択可能値に対応する複数のオプションインジケータと、
前記第１の値が現在選択されたシミュレートされた深度効果値であることを示す選択インジケータと、
を含む、手段と、
前記調整可能スライダを表示している間に、前記１つ以上の入力デバイスを介して、前記調整可能スライダへの入力を検出する手段と、
前記調整可能スライダへの前記入力を検出したことに応じて、
前記シミュレートされた深度効果に関する前記複数の選択可能値のうちの第２の値が前記現在選択されたシミュレート深度効果値であることを示すように前記調整可能スライダを移動させ、
前記第２の値によって修正された前記シミュレートされた深度効果に従って、画像データの前記表現の外観を変更する、手段と、
画像データの前記表現の前記外観を変更したことに続いて、前記ディスプレイ上に、前記シミュレートされた深度効果インジケータを表示する手段であって、前記シミュレートされた深度効果インジケータは、前記シミュレートされた深度効果の前記現在の大きさの更新された数値指示を含み、前記更新された深度効果は前記第２の値に対応する、手段と、
を含む、電子デバイス。
【請求項１７】
ディスプレイ及び１つ以上の入力デバイスを有する電子デバイスにおいて、
前記１つ以上の入力デバイスを介して、シミュレートされた深度効果を画像データの表現に適用する要求を受信することであって、画像データの前記表現内の被写体についての深度データが利用可能であるようにすることと、
前記シミュレートされた深度効果を画像データの前記表現に適用する前記要求を受信したことに応じて、前記シミュレートされた深度効果を有する画像データの前記表現を前記ディスプレイ上に表示することであって、
第１の方式で第１の深度を有する画像データの前記表現の第１の部分を歪ませることであって、前記第１の方法は、画像データの前記表現の既定部分からの前記第１の部分の距離に基づいて決定される、ことと、
前記第１の方式とは異なる第２の方式で前記第１の深度を有する画像データの前記表現の第２の部分を歪ませることであって、前記第２の方法は、画像データの前記表現の前記既定部分からの前記第２の部分の距離に基づいて決定される、ことと、
を含むようにすることと、
を含む、方法。
【請求項１８】
前記シミュレートされた深度効果を有する画像データの前記表現を前記ディスプレイ上に表示することは、
前記第１の部分と前記既定部分からの距離が同じであり、前記第１の方式における前記第１の深度とは異なる第２の深度を有する画像データの前記表現の第３の部分を前記第２の深度に基づいて決定された大きさで歪ませることと、
前記第２の部分と前記既定部分からの距離が同じであり、前記第２の方式における前記第２の深度を有する画像データの前記表現の第４の部分を、前記第２の深度に基づいて決定された大きさで歪ませることと、
を更に含む、請求項１７に記載の方法。
【請求項１９】
前記シミュレートされた深度効果を有する画像データの前記表現を前記ディスプレイ上に表示することは、
前記第１の部分と前記既定部分からの距離が同じであり、前記第１の方式で、前記第１の深度を有する画像データの前記表現の１つ以上の部分を歪ませること、
を更に含む、請求項１７又は１８に記載の方法。
【請求項２０】
前記第１の方式で画像データの前記表現の前記第１の部分を歪ませることは、第１の歪み形状に基づいて前記第１の部分を歪ませることを含み、
前記第２の方式で画像データの前記表現の前記第２の部分を歪ませることは、前記第１の歪み形状とは異なる第２の歪み形状に基づいて、前記第２の部分を歪ませることを含む、
請求項１７から１９のいずれか一項に記載の方法。
【請求項２１】
前記第１の方式で画像データの前記表現の前記第１の部分を歪ませることは、前記第１の部分を第１の歪みの程度で歪ませることを含み、
前記第２の方式で画像データの前記表現の前記第２の部分を歪ませることは、前記第２の部分を、前記第１の歪みの程度よりも大きい第２の歪みの程度で歪ませることを含み、前記第２の部分は、前記第１の部分よりも前記既定部分からの距離が大きい、
請求項１７から２０のいずれか一項に記載の方法。
【請求項２２】
前記１つ以上の入力デバイスを介して、前記シミュレートされた深度効果を画像データの前記表現に適用する前記要求を受信することは、
前記１つ以上の入力デバイスを介して画像歪みパラメータの値を選択する１つ以上の入力を検出することを含み、画像データの前記表現を歪ませることは、画像歪みパラメータの値を選択する１つ以上のユーザ入力に基づく、請求項１７から２１のいずれか一項に記載の方法。
【請求項２３】
前記画像歪みパラメータに対して異なる値を選択することにより、前記画像データの前記表現の前記第１の部分への第１の変化を生じさせ、前記画像データの前記表現の前記第２の部分に第２の変化を生じさせ、前記第１の変化は前記第２の変化と異なり、前記第１の変化及び前記第２の変化はいずれも同じタイプの変化を含む、請求項２２に記載の方法。
【請求項２４】
前記第１の方式で前記第１の部分を歪ませることは、前記第１の部分を第１の大きさでぼかすことを含み、
前記第２の方式で前記第２の部分を歪ませることは、前記第２の部分を第２の大きさでぼかすことを含み、
前記既定部分からの前記第１の部分の距離は前記既定部分からの前記第２の距離 よりも大きいとの判定に従って、前記第１の大きさは前記第２の大きさよりも大きく、
前記既定部分から前記第２の部分の距離が前記既定部分から前記第１の部分の距離よりも大きいとの判定に従って、前記第２の大きさは前記第１の大きさよりも大きい、
請求項１７から２３のいずれか一項に記載の方法。
【請求項２５】
前記シミュレートされた深度効果を画像データの前記表現に適用する前記要求を受信する前に、画像データの前記表現を前記ディスプレイ上に表示することと、
画像データの前記表現を表示している間に、前記画像データを使用して、画像データの前記表現内の前記被写体の存在を検出することと、
を更に含む、請求項１７から２４のいずれか一項に記載の方法。
【請求項２６】
前記シミュレートされた深度効果を有する画像データの前記表現を前記ディスプレイ上に表示することは、
前記被写体に対応する画像データの前記表現の一部分を歪ませることなく、前記画像の前記第１の部分及び前記画像の前記第２の部分を歪ませること、
を更に含む、請求項１７から２５のいずれか一項に記載の方法。
【請求項２７】
画像データの前記表現の前記第１の部分を歪ませることは、前記第１の部分が前記被写体に対応しないとの判定に従って、前記第１の部分を歪ませることを含み、
画像データの前記表現の前記第２の部分を歪ませることは、前記第２の部分が前記被写体に対応しないという判定に従って、前記第２の部分を歪ませることを含む、
請求項１７から２６のいずれか一項に記載の方法。
【請求項２８】
前記シミュレートされた深度効果を画像データの前記表現に適用する前記要求を受信したことに応じて、前記画像データに基づいて、発光オブジェクトに関連付けられた画像データの前記表現内の１つ以上のオブジェクトを識別すること、
を更に含む、請求項１７から２７のいずれか一項に記載の方法。
【請求項２９】
前記シミュレートされた深度効果を有する画像データの前記表現を前記ディスプレイ上に表示することは、発光オブジェクトに関連付けられていない画像データの前記表現の１つ以上の部分に対して、第３の方式で、発光オブジェクトに関連付けられた画像データの前記表現の１つ以上の部分の外観を変更すること、
を更に含む、請求項２８に記載の方法。
【請求項３０】
前記第３の方式で、発光オブジェクトに関連付けられた画像データの前記表現内のオブジェクトの前記外観を変更することは、
発光オブジェクトに関連付けられていない画像データの前記表現の他の部分に対して、発光オブジェクトに関連付けられた画像データの前記表現の前記１つ以上の部分の輝度を増大させることと、
発光オブジェクトに関連付けられていない画像データの前記表現の他の部分に対して、発光オブジェクトに関連付けられた画像データの前記表現の前記１つ以上の部分の彩度を増大させることと、
発光オブジェクトに関連付けられていない画像データの前記表現の他の部分に対して、発光オブジェクトに関連付けられた画像データの前記表現の前記１つ以上の部分のサイズを増大させることと、
のうち１つ以上を含む、請求項２９に記載の方法。
【請求項３１】
前記１つ以上の入力デバイスを介して、画像歪みパラメータの値を変化させる１つ以上の入力を検出することであって、画像データの前記表現を歪ませることは、画像歪みパラメータの値を選択する１つ以上のユーザ入力に基づくようにすることと、
前記画像歪みパラメータの前記値を変更する前記１つ以上の入力を検出したことに応じて、発光オブジェクトに関連付けられていない画像データの前記表現の他の部分に対して、発光オブジェクトに関連付けられた画像データの前記表現の１つ以上の部分の前記外観の変化の大きさを変更することと、
を含む、請求項２９に記載の方法。
【請求項３２】
ディスプレイ及び１つ以上の入力デバイスを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、請求項１７から３１のいずれか一項に記載の方法を実行する命令を含む、コンピュータ可読記憶媒体。
【請求項３３】
ディスプレイと、
１つ以上の入力デバイスと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える電子デバイスであって、前記１つ以上のプログラムは請求項１７から３１のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。
【請求項３４】
ディスプレイと、
１つ以上の入力デバイスと、
請求項１７から３１のいずれか一項に記載の方法を実行する手段と、
を備える、電子デバイス。
【請求項３５】
ディスプレイ及び１つ以上の入力デバイスを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
前記１つ以上の入力デバイスを介して、シミュレートされた深度効果を画像データの表現に適用する要求を受信し、画像データの前記表現内の被写体についての深度データが利用可能であり、
前記シミュレートされた深度効果を画像データの前記表現に適用する前記要求を受信したことに応じて、前記シミュレートされた深度効果を有する画像データの前記表現を前記ディスプレイ上に表示し、
第１の方式で第１の深度を有する画像データの前記表現の第１の部分を歪ませることであって、前記第１の方法は、画像データの前記表現の既定部分からの前記第１の部分の距離に基づいて決定される、ことと、
前記第１の方式とは異なる第２の方式で前記第１の深度を有する画像データの前記表現の第２の部分を歪ませることであって、前記第２の方法は、画像データの前記表現の前記既定部分からの前記第２の部分の距離に基づいて決定される、ことと、
を含む、
命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項３６】
ディスプレイと、
１つ以上の入力デバイスと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備える電子デバイスであって、前記１つ以上のプログラムは、
前記１つ以上の入力デバイスを介して、シミュレートされた深度効果を画像データの表現に適用する要求を受信し、画像データの前記表現内の被写体についての深度データが利用可能であり、
前記シミュレートされた深度効果を画像データの前記表現に適用する前記要求を受信したことに応じて、前記シミュレートされた深度効果を有する画像データの前記表現を前記ディスプレイ上に表示し、
第１の方式で第１の深度を有する画像データの前記表現の第１の部分を歪ませることであって、前記第１の方法は、画像データの前記表現の既定部分からの前記第１の部分の距離に基づいて決定される、ことと、
前記第１の方式とは異なる第２の方式で前記第１の深度を有する画像データの前記表現の第２の部分を歪ませることであって、前記第２の方法は、画像データの前記表現の前記既定部分からの前記第２の部分の距離に基づいて決定される、ことと、
を含む、
命令を含む、電子デバイス。
【請求項３７】
ディスプレイと、
１つ以上の入力デバイスと、
を備える、電子デバイスであって、
前記１つ以上の入力デバイスを介して、シミュレートされた深度効果を画像データの表現に適用する手段であって、画像データの前記表現内の被写体についての深度データが利用可能であり、
前記シミュレートされた深度効果を画像データの前記表現に適用する前記要求を受信したことに応じて、前記ディスプレイ上に、前記シミュレートされた深度効果を有する画像データの前記表現を表示するための手段であって、
第１の方式で第１の深度を有する画像データの前記表現の第１の部分を歪ませることであって、前記第１の方法は、画像データの前記表現の既定部分からの前記第１の部分の距離に基づいて決定される、ことと、
前記第１の方式とは異なる第２の方式で前記第１の深度を有する画像データの前記表現の第２の部分を歪ませることであって、前記第２の方法は、画像データの前記表現の前記既定部分からの前記第２の部分の距離に基づいて決定される、ことと、
を含む、手段と、
を含む、電子デバイス。
【請求項３８】
ディスプレイ及び１つ以上のカメラを含む１つ以上のセンサを有する電子デバイスにおいて、
カメラアプリケーションのユーザインタフェースを前記ディスプレイ上に表示している間に、前記１つ以上のセンサを介して、前記１つ以上のカメラのそれぞれの機能の動作を害する外部干渉を検出することと、
前記電子デバイスに対する前記外部干渉を検出したことに応じて、
第１の基準が満たされているという判定に従って、前記１つ以上のカメラの前記それぞれの機能に対する前記外部干渉の影響を低減するように前記１つ以上のカメラの動作モードが変更されたことを示す通知を前記ディスプレイ上に表示することと、
前記第１の基準が満たされていないという判定に従って、前記１つ以上のカメラの前記動作モードが変更されたことを示す前記通知を前記ディスプレイ上に表示することを見合わせることと、
を含む、方法。
【請求項３９】
前記第１の基準は、前記電子デバイスにより前記外部干渉の第１の所定量の発生が検出されたときに 満たされる要件を含む、請求項３８に記載の方法。
【請求項４０】
前記第１の所定回数は、前記通知が以前に前記電子デバイス上に表示された回数に依存する、請求項３９に記載の方法。
【請求項４１】
前記通知を前記ディスプレイに表示することは、第２の所定回数未満しか前記通知が以前に前記電子デバイス上に表示されていないという判定に従って前記通知を表示することを含む、請求項３８から４０のいずれか一項に記載の方法。
【請求項４２】
前記１つ以上のカメラの前記それぞれの機能に対する前記外部干渉の前記影響を低減するための、前記１つ以上のカメラの前記動作モードへの前記変更は、前記１つ以上のカメラの１つ以上の機能の応答性を低減することを含み、前記１つ以上の機能は、前記外部干渉が前記電子デバイスによって検出されている間、確実に実行することができない機能に前記１つ以上のカメラによって対応する、請求項３８から４１のいずれか一項に記載の方法。
【請求項４３】
前記１つ以上のカメラの前記それぞれの機能の前記前記動作を害する外部干渉を検出することは、前記電子デバイス上に前記カメラアプリケーション用のユーザインタフェースを表示する際に、前記外部干渉を検出することを含む、請求項３８から４２のいずれか一項に記載の方法。
【請求項４４】
前記それぞれの機能は、前記電子デバイスの前記１つ以上のカメラのフォーカス機能である、請求項３８から４２いずれか一項に記載の方法。
【請求項４５】
前記干渉は磁気干渉である、請求項３８から４４のいずれか一項に記載の方法。
【請求項４６】
前記干渉は、前記電子デバイスのアクセサリからのものである、請求項３８から４５のいずれか一項に記載の方法。
【請求項４７】
ディスプレイ及び１つ以上のカメラを含む１つ以上のセンサデバイスを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、請求項３８から４６のいずれか一項に記載の方法を実行する命令を含む、コンピュータ可読記憶媒体。
【請求項４８】
ディスプレイと、
１つ以上のカメラを含む１つ以上のセンサと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、前記１つ以上のプログラムは、請求項３８から４６のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。
【請求項４９】
ディスプレイと、
１つ以上のカメラを含む１つ以上のセンサと、
請求項３８から４６のいずれか一項に記載の方法を実行する手段と、
を備える、電子デバイス。
【請求項５０】
ディスプレイ及び１つ以上のカメラを含む１つ以上のセンサを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
カメラアプリケーションのユーザインタフェースを前記ディスプレイ上に表示している間に、前記１つ以上のセンサを介して、前記１つ以上のカメラのそれぞれの機能の動作を害する外部干渉を検出し、
前記電子デバイスに対する前記外部干渉を検出したことに応じて、
第１の基準が満たされているという判定に従って、前記１つ以上のカメラの前記それぞれの機能に対する前記外部干渉の影響を低減するように前記１つ以上のカメラの動作モードが変更されたことを示す通知を前記ディスプレイ上に表示し、
前記第１の基準が満たされていないという判定に従って、前記１つ以上のカメラの前記動作モードが変更されたことを示す前記通知を前記ディスプレイ上に表示することを見合わせる、
命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項５１】
ディスプレイと、
１つ以上のカメラを含む１つ以上のセンサと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備える電子デバイスであって、前記１つ以上のプログラムは、
カメラアプリケーションのユーザインタフェースを前記ディスプレイ上に表示している間に、前記１つ以上のセンサを介して、前記１つ以上のカメラのそれぞれの機能の動作を害する外部干渉を検出し、
前記電子デバイスに対する前記外部干渉を検出したことに応じて、
第１の基準が満たされているという判定に従って、前記１つ以上のカメラの前記それぞれの機能に対する前記外部干渉の影響を低減するように前記１つ以上のカメラの動作モードが変更されたことを示す通知を前記ディスプレイ上に表示し、
前記第１の基準が満たされていないという判定に従って、前記１つ以上のカメラの前記動作モードが変更されたことを示す前記通知を前記ディスプレイ上に表示することを見合わせる、
命令を含む、電子デバイス。
【請求項５２】
ディスプレイと、
１つ以上のカメラを含む１つ以上のセンサと、
を備える、電子デバイスであって、
カメラアプリケーションのユーザインタフェースを前記ディスプレイ上に表示している間に、前記１つ以上のセンサを介して、前記１つ以上のカメラのそれぞれの機能の動作を害する外部干渉を検出する手段と、
前記電子デバイスに対する前記外部干渉を検出したことに応じて、
第１の基準が満たされているという判定に従って、前記１つ以上のカメラの前記それぞれの機能に対する前記外部干渉の影響を低減するように前記１つ以上のカメラの動作モードが変更されたことを示す通知を前記ディスプレイ上に表示する手段と、
前記第１の基準が満たされていないという判定に従って、前記１つ以上のカメラの前記動作モードが変更されたことを示す前記通知を前記ディスプレイ上に表示することを見合わせる手段と、
を含む、電子デバイス。
【手続補正書】
【提出日】令和3年3月16日(2021.3.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ディスプレイ及び１つ以上の入力デバイスを有する電子デバイスにおいて、
前記ディスプレイ上に画像データの表現、及びシミュレートされた深度効果インジケータを表示することであって、前記シミュレートされた深度効果インジケータは前記シミュレートされた深度効果の現在の大きさの数値指示を含むようにする、ことと、
前記シミュレートされた深度効果に関する複数の選択可能値のうちの第１の値によって修正された、シミュレートされた深度効果を有する画像データの前記表現を表示する間に、前記１つ以上の入力デバイスを介して、第１の入力を検出することと、
前記第１の入力を検出したことに応じて、
画像データの前記表現を操作することに関連付けられた調整可能スライダを、前記シミュレートされた深度効果インジケータと同時に、前記ディスプレイ上に表示し、前記調整可能スライダを表示することは、前記ディスプレイ上に、画像データの前記表現をスライドし、前記調整可能スライダを表示することを含み、前記調整可能スライダは、前記ディスプレイ上の前記画像データの前記表現をスライドした後、前記調整可能スライダの上に表示される前記画像データの前記表現の一部によって事前に占有された場所に表示されることであって、前記調整可能スライダは、
前記シミュレートされた深度効果に関する前記複数の選択可能値に対応する複数のオプションインジケータと、
前記第１の値が現在選択されたシミュレートされた深度効果値であることを示す選択インジケータと、
を含む、ことと、
前記調整可能スライダを表示している間に、前記１つ以上の入力デバイスを介して、前記調整可能スライダへの入力を検出することと、
前記調整可能スライダへの前記入力を検出したことに応じて、
前記シミュレートされた深度効果に関する前記複数の選択可能値のうちの第２の値が前記現在選択されたシミュレートされた深度効果値であることを示すように前記調整可能スライダを移動させることと、
前記第２の値によって修正された前記シミュレートされた深度効果に従って、画像データの前記表現の外観を変更することと、
画像データの前記表現の前記外観を変更したことに続いて、
前記ディスプレイ上に、前記シミュレートされた深度効果インジケータを表示することであって、前記シミュレートされた深度効果インジケータは、前記シミュレートされた深度効果の前記現在の大きさの更新された数値指示を含み、前記更新された深度効果は前記第２の値に対応するようにすることと、
を含む、方法。
【請求項２】
前記第１の入力を検出する前に、前記シミュレートされた深度効果インジケータは第１の視覚特性で表示され、
前記第１の入力を検出した後、前記シミュレートされた深度効果インジケータは前記第１の視覚特性とは異なる第２の視覚特性で表示される、
請求項１に記載の方法。
【請求項３】
前記第１の入力を検出する前に、１つ以上のモードセレクタアフォーダンスを前記ディスプレイ上に表示することを更に含み、
前記調整可能スライダを表示することは、前記１つ以上のモードセレクタアフォーダンスの表示を前記調整可能スライダと置き換えることを含む、
請求項１又は２に記載の方法。
【請求項４】
前記第１の入力を検出する前に、ズーム制御要素を前記ディスプレイ上に表示することを更に含み、
前記調整可能スライダを表示することは、前記ズーム制御要素の表示を置き換えることを含む、
請求項１乃至３のいずれか一項に記載の方法。
【請求項５】
前記調整可能スライダへの前記入力は、前記調整可能スライダ上のスワイプジェスチャであり、前記スワイプジェスチャは、前記スワイプジェスチャの終了時に少なくとも第１の速度を有する第１の方向へのユーザの動きを含む、請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記調整可能スライダを移動させることは、前記選択インジケータが固定されたままである間に前記複数のオプションインジケータを移動させることを含む、請求項１乃至５のいずれか一項に記載の方法。
【請求項７】
前記調整可能スライダを移動させることは、前記複数のオプションインジケータが固定されたままである間に前記選択インジケータを移動させることを含む、請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
前記調整可能スライダを移動させている間に、前記調整可能スライダによって制御されるパラメータに対して異なる値が選択されると、前記調整可能スライダの前記移動と同期して第１のタイプの出力を生成すること、
を更に含む、請求項１乃至７のいずれか一項に記載の方法。
【請求項９】
前記調整可能スライダを移動させる間に、
画像データの前記表現が記憶された画像データに対応するとの判定に従って、前記第１のタイプの出力はオーディオ出力を含み、
画像データの前記表現が１つ以上のカメラによってキャプチャされている画像データのライブプレビューに対応するとの判定に従って、前記第１のタイプの出力はオーディオ出力を含まない、
請求項８に記載の方法。
【請求項１０】
画像データの前記表現を前記ディスプレイ上に表示することは、
画像データの前記表現が記憶された画像データに対応するとの判定に従って、前記シミュレートされた深度効果に関する以前の第１の値によって事前に修正された以前のシミュレートされた深度効果を有する画像データの前記表現を表示すること、
を更に含む、請求項１乃至９のいずれか一項に記載の方法。
【請求項１１】
コンピュータに、請求項１乃至１０のいずれか一項に記載の方法を実行させるコンピュータプログラム。
【請求項１２】
電子デバイスであって、
請求項１１に記載のコンピュータプログラムを格納するメモリと、
前記メモリに格納された前記コンピュータプログラムを実行可能な１つ以上のプロセッサと
を備え、
前記電子デバイスは表示生成コンポーネント及び１つ以上の入力デバイスと通信を行う、電子デバイス。
【請求項１３】
ディスプレイと、
１つ以上の入力デバイスと、
請求項１乃至１０のいずれか一項に記載の方法を実行する手段と、
を備える、電子デバイス。
【国際調査報告】
2021536059.tif 000060
2021536059.tif 000061
2021536059.tif 000062
2021536059.tif 000063
2021536059.tif 000064
2021536059.tif 000065