(57)【要約】      （修正有）【課題】拡張現実空間において、仮想オブジェクトと対話するための改善された方法及びインターフェースを提供する。【解決手段】タッチ感知面、及び１つ以上のカメラを備えたコンピュータシステムは、ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示する。接触による第１の入力を検出したことに応答して、接触による第１の入力が第１の基準を満足するとの判定にしたがって、第１のユーザーインターフェース領域の少なくとも一部分の表示を１つ以上のカメラの視野の表現で置き換えることを含めて、第２のユーザーインターフェース領域をディスプレイに表示し、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に、仮想オブジェクトの表現を連続的に表示する。【選択図】図５Ａ
2019128941.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイ、タッチ感知面、及び１つ以上のカメラを有するデバイスにおいて、
前記ディスプレイの第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示することと、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの第１の表現を表示している間に、前記ディスプレイ上における前記仮想オブジェクトの前記表現に対応した前記タッチ感知面上の場所における接触による第１の入力を検出することと、
前記接触による前記第１の入力を検出したことに応答して、
前記接触による前記第１の入力が第１の基準を満足するとの判定にしたがって、
前記第１のユーザーインターフェース領域の少なくとも一部分の表示を前記１つ以上のカメラの視野の表現で置き換えることを含む、前記ディスプレイに第２のユーザーインターフェース領域を表示することと、
前記第１のユーザーインターフェース領域を表示することから前記第２のユーザーインターフェース領域を表示することにスイッチングしている間に、前記仮想オブジェクトの前記表現を連続的に表示することと、を含む方法。
【請求項２】
前記第１の基準が、少なくとも所定の時間にわたって閾値移動量未満で前記仮想オブジェクトの前記表現に対応した前記タッチ感知面上の前記場所における前記接触が維持されるときに満たされる基準を含む、請求項１に記載の方法。
【請求項３】
前記デバイスが、前記タッチ感知面との接触の強度を検出する１つ以上のセンサを含み、
前記第１の基準が、前記接触の特性強度が第１の強度閾値を上回るほどに上がったときに満たされる基準を含む、請求項１に記載の方法。
【請求項４】
前記第１の基準が、前記接触の移動が所定の移動基準を満たすときに満たされる基準を含む、請求項１に記載の方法。
【請求項５】
前記デバイスが、１つ以上の触知出力生成器を含み、
前記方法が、前記接触による第１の入力を検出したことに応答して、前記接触による前記第１の入力が前記第１の基準を満足するとの判定にしたがって、前記１つ以上の触知出力生成器によって、前記第１の入力によって前記第１の基準が満たされたことを示す触知出力を出力することを含む、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記第１の入力の少なくとも初期部分を検出したことに応答して、前記１つ以上のカメラの前記視野を分析して、前記１つ以上のカメラの前記視野内で１つ以上のプレーンを検出することと、
前記１つ以上のカメラの視野内のそれぞれのプレーンを検出した後で、前記１つ以上のカメラの前記視野に対する前記それぞれのプレーンの相対位置に基づいて、前記仮想オブジェクトの前記表現のサイズ及び／又は位置を決定することと、を含む、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記１つ以上のカメラの前記視野を分析して前記１つ以上のカメラの前記視野内の前記１つ以上のプレーンを検出することが、前記ディスプレイ上における前記仮想オブジェクトの前記表現に対応した前記タッチ感知面上の前記場所における前記接触の検出に応答して開始される、請求項６に記載の方法。
【請求項８】
前記１つ以上のカメラの前記視野を分析して前記１つ以上のカメラの前記視野内の前記１つ以上のプレーンを検出することが、前記接触による前記第１の入力により前記第１の基準が満足されたことを検出したことに応答して開始される、請求項６に記載の方法。
【請求項９】
前記１つ以上のカメラの前記視野を分析して前記１つ以上のカメラの前記視野内の前記１つ以上のプレーンを検出することが、前記第１の入力の初期部分が前記第１の基準を満足せずにプレーン検出トリガ基準を満足したことを検出したことに応答して開始される、請求項６に記載の方法。
【請求項１０】
前記仮想オブジェクトの前記表現を、前記仮想オブジェクトが前記１つ以上のカメラの前記視野内で検出されたそれぞれのプレーンに対して所定の角度で方向付けられるように、前記第２のユーザーインターフェース領域の表示に表示することを含む、請求項６から９のいずれか一項に記載の方法。
【請求項１１】
前記デバイスが、１つ以上の触知出力生成器を含み、
前記方法が、前記１つ以上のカメラの前記視野内の前記それぞれのプレーンを検出したことに応答して、前記１つ以上の触知出力生成器によって、前記１つ以上のカメラの前記視野内の前記それぞれのプレーンの検出を示す触知出力を出力することを含む、請求項１０に記載の方法。
【請求項１２】
前記デバイスが、１つ以上の触知出力生成器を含み、
前記方法が、
前記第１のユーザーインターフェース領域を表示することから前記第２のユーザーインターフェース領域を表示することにスイッチングしている間に、前記仮想オブジェクトの前記表現が前記第２のユーザーインターフェース領域内の前記それぞれのプレーンに対する所定の位置に遷移するアニメーションを表示することと、
前記それぞれのプレーンに対する前記所定の角度で前記仮想オブジェクトの前記表現を表示することに関連して、前記１つ以上の触知出力生成器によって、前記仮想オブジェクトが前記第２のユーザーインターフェース領域内に前記それぞれのプレーンに対して前記所定の角度で表示されていることを示す触知出力を出力することと、を含む、請求項１０又は１１に記載の方法。
【請求項１３】
前記触知出力が、前記仮想オブジェクトの特性に対応する触知出力プロフィールを有することを特徴とする、請求項１２に記載の方法。
【請求項１４】
前記仮想オブジェクトの前記表現を前記第２のユーザーインターフェース領域に表現している間に、前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出することと、
前記デバイスの移動を検出したことに応答して、前記１つ以上のカメラの前記視野が調整されるときの前記１つ以上のカメラの前記視野内の前記仮想オブジェクトと前記それぞれのプレーンとの間の固定された空間的関係にしたがって、前記第２のユーザーインターフェース領域内の前記仮想オブジェクトの前記表現を調整することと、を含む、請求項１０から１３のいずれか一項に記載の方法。
【請求項１５】
前記第１のユーザーインターフェース領域を表示することから前記第２のユーザーインターフェース領域を表示することにスイッチングしている間に前記仮想オブジェクトの前記表現を連続的に表示するアニメーションを表示することを含む、請求項１から１４のいずれか一項に記載の方法。
【請求項１６】
前記ディスプレイに前記第２のユーザーインターフェースを表示している間に、第２の接触による第２の入力を検出することであって、前記第２の入力が、前記ディスプレイにわたる第１の経路に沿った前記第２の接触の移動を含んでいる、ことと、
前記第２の接触による前記第２の入力を検出したことに応答して、前記第２のユーザーインターフェース領域内で前記第１の経路に対応する第２の経路に沿って前記仮想オブジェクトの前記表現を移動させることと、を含む、請求項１から１５のいずれか一項に記載の方法。
【請求項１７】
前記接触の前記移動及び前記仮想オブジェクトに対応するそれぞれのプレーンに基づいて、前記仮想オブジェクトの前記表現が前記第２の経路に沿って移動するときに、前記仮想オブジェクトの前記表現のサイズを調整することを含む、請求項１６に記載の方法。
【請求項１８】
前記仮想オブジェクトの前記表現が前記第２の経路に沿って移動するときに前記仮想オブジェクトの前記表現の第１のサイズを維持することと、
前記第２の接触による前記第２の入力の終了を検出することと、
前記第２の接触による前記第２の入力の前記終了を検出したことに応答して、
前記仮想オブジェクトの前記表現を、前記第２のユーザーインターフェース領域内のドロップオフ場所に配置し、
前記第２のユーザーインターフェース領域内の前記ドロップオフ場所に、前記第１のサイズとは異なるの第２のサイズで、前記仮想オブジェクトの前記表現を表示することと、を含む、請求項１６に記載の方法。
【請求項１９】
前記ディスプレイにわたる前記第１の経路に沿った前記第２の接触の前記移動が第２の基準を満足するとの判定にしたがって、
前記１つ以上のカメラの前記視野の前記表現を含む前記第２のユーザーインターフェース領域を表示することを停止することと、
前記仮想オブジェクトの前記表現とともに前記第１のユーザーインターフェース領域を再表示することとを含む、請求項１６から１８のいずれか一項に記載の方法。
【請求項２０】
前記第１のユーザーインターフェース領域の再表示に対応する時点で、前記第２のユーザーインターフェース領域に前記仮想オブジェクトの前記表現を表示することから前記第１のユーザーインターフェース領域に前記仮想オブジェクトの前記表現を表示することへのアニメーション化された遷移を表示することを含む、請求項１９に記載の方法。
【請求項２１】
前記第２の接触が前記第１の経路に沿って移動するときに、前記接触の現在場所に対応する前記１つ以上のカメラの前記視野内で特定された１つ以上のそれぞれのプレーンの視覚的な外観を変化させることを含む、請求項１６から２０のいずれか一項に記載の方法。
【請求項２２】
前記接触による前記第１の入力を検出したことに応答して、前記接触による前記第１の入力が第３の基準を満足するとの判定にしたがって、前記第１のユーザーインターフェース領域の少なくとも一部分の表示を置き換えることを含む、前記ディスプレイに第３のユーザーインターフェース領域を表示することを含む、請求項１から２１のいずれか一項に記載の方法。
【請求項２３】
前記接触による前記第１の入力が前記第１の基準を満たさないとの判定にしたがって、前記第１のユーザーインターフェースの少なくとも一部分の表示を前記１つ以上のカメラの前記視野の前記表現で置き換えることなく、前記第１のユーザーインターフェース領域の表示を維持することを含む、請求項１から２２のいずれか一項に記載の方法。
【請求項２４】
ディスプレイと、
タッチ感知面と、
１つ以上のカメラと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備えるコンピュータシステムであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
前記ディスプレイの第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示し、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの第１の表現を表示している間に、前記ディスプレイ上における前記仮想オブジェクトの前記表現に対応した前記タッチ感知面上の場所における接触による第１の入力を検出し、
前記接触による前記第１の入力を検出したことに応答して、
前記接触による前記第１の入力が第１の基準を満足するとの判定にしたがって、
前記第１のユーザーインターフェース領域の少なくとも一部分の表示を前記１つ以上のカメラの視野の表現で置き換えることを含む、前記ディスプレイに第２のユーザーインターフェース領域を表示し、
前記第１のユーザーインターフェース領域を表示することから前記第２のユーザーインターフェース領域を表示することにスイッチングしている間に、前記仮想オブジェクトの前記表現を連続的に表示する、命令を含む、コンピュータシステム。
【請求項２５】
１つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、ディスプレイ、タッチ感知面、及び１つ以上のカメラを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、
前記ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示させ、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの第１の表現を表示している間に、前記ディスプレイ上における前記仮想オブジェクトの前記表現に対応した前記タッチ感知面上の場所における接触による第１の入力を検出させ、
前記接触による前記第１の入力を検出したことに応答して、
前記接触による前記第１の入力が第１の基準を満足するとの判定にしたがって、
前記第１のユーザーインターフェース領域の少なくとも一部分の表示を前記１つ以上のカメラの視野の表現で置き換えることを含む、前記ディスプレイに第２のユーザーインターフェース領域を表示させ、
前記第１のユーザーインターフェース領域を表示することから前記第２のユーザーインターフェース領域を表示することにスイッチングしている間に、前記仮想オブジェクトの前記表現を連続的に表示する、コンピュータ可読記憶媒体。
【請求項２６】
ディスプレイと、
タッチ感知面と、
１つ以上のカメラと、
前記ディスプレイの第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示する手段と、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの第１の表現を表示している間に使用可能になる、前記ディスプレイ上における前記仮想オブジェクトの前記表現に対応した前記タッチ感知面上の場所における接触による第１の入力を検出する手段と、
前記接触による前記第１の入力を検出したことに応答して使用可能になる手段であり、
前記接触による前記第１の入力が第１の基準を満足するとの判定にしたがって使用可能になる、
前記第１のユーザーインターフェース領域の少なくとも一部分の表示を前記１つ以上のカメラの視野の表現で置き換えることを含む、前記ディスプレイに第２のユーザーインターフェース領域を表示し、
前記第１のユーザーインターフェース領域を表示することから前記第２のユーザーインターフェース領域を表示することにスイッチングしている間に、前記仮想オブジェクトの前記表現を連続的に表示する手段、を含む手段と、を備える、コンピュータシステム。
【請求項２７】
ディスプレイ、タッチ感知面、及び１つ以上のカメラを備えるコンピュータシステムで使用される情報処理装置であって、
前記ディスプレイの第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示する手段と、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの第１の表現を表示している間に使用可能になる、前記ディスプレイ上における前記仮想オブジェクトの前記表現に対応した前記タッチ感知面上の場所における接触による第１の入力を検出する手段と、
前記接触による前記第１の入力を検出したことに応答して使用可能になる手段であり、
前記接触による前記第１の入力が第１の基準を満足するとの判定にしたがって使用可能になる、
前記第１のユーザーインターフェース領域の少なくとも一部分の表示を前記１つ以上のカメラの視野の表現で置き換えることを含む、前記ディスプレイに第２のユーザーインターフェース領域を表示し、
前記第１のユーザーインターフェース領域を表示することから前記第２のユーザーインターフェース領域を表示することにスイッチングしている間に、前記仮想オブジェクトの前記表現を連続的に表示する手段、を含む手段と、を備える、情報処理装置。
【請求項２８】
ディスプレイと、
タッチ感知面と、
１つ以上のカメラと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備えるコンピュータシステムであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１から２３に記載の方法のいずれかを実行する命令を含む、コンピュータシステム。
【請求項２９】
１つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、ディスプレイ、タッチ感知面、及び１つ以上のカメラを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、請求項１から２３に記載の方法のいずれかを実行させる、コンピュータ可読記憶媒体。
【請求項３０】
ディスプレイ、タッチ感知面、１つ以上のカメラ、メモリ、及び前記メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサを備えたコンピュータシステムのグラフィカルユーザーインターフェースであって、請求項１から２３に記載の方法のいずれかにしたがって表示されるユーザーインターフェースを含む、グラフィカルユーザーインターフェース。
【請求項３１】
ディスプレイと、
タッチ感知面と、
１つ以上のカメラと、
請求項１から２３に記載の方法のいずれかを実行する手段と、を備える、コンピュータシステム。
【請求項３２】
ディスプレイ、タッチ感知面、及び１つ以上のカメラを備えたコンピュータシステムで使用される情報処理装置であって、
請求項１から２３に記載の方法のいずれかを実行する手段を備える、情報処理装置。
【請求項３３】
ディスプレイ、タッチ感知面、及び１つ以上のカメラを有するデバイスにおいて、
前記ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示することと、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの前記第１の表現を表示している間に、前記ディスプレイ上の前記仮想オブジェクトの前記第１の表現に対応する前記タッチ感知面上の場所における第１の接触による第１の入力を検出することと、
前記第１の接触による前記第１の入力を検出したことに応答して、前記第１の接触による前記第１の入力が第１の基準を満足するとの判定にしたがって、前記第１のユーザーインターフェース領域とは異なる第２のユーザーインターフェース領域に前記仮想オブジェクトの第２の表現を表示することと、
前記第２のユーザーインターフェース領域に前記仮想オブジェクトの前記第２の表現を表示している間に、第２の入力を検出することと、
前記第２の入力を検出したことに応答して、
前記第２の入力が前記第２のユーザーインターフェース領域内で前記仮想オブジェクトを操作する要求に対応しているとの判定にしたがって、前記第２の入力に基づいて前記第２のユーザーインターフェース領域内で前記仮想オブジェクトの前記第２の表現の表示特性を変化させることと、
前記第２の入力が拡張現実環境内に前記仮想オブジェクトを表示する要求に対応しているとの判定にしたがって、前記１つ以上のカメラの視野の表現とともに前記仮想オブジェクトの第３の表現を表示することと、を含む、方法。
【請求項３４】
前記第１の基準が、前記第１の入力が、仮想オブジェクトインジケータに対応した前記タッチ感知面上の場所における前記第１の接触によるタップ入力を含むときに満たされる基準を含む、請求項３３に記載の方法。
【請求項３５】
前記第１の基準が、前記第１の接触が、少なくとも所定の閾値時間にわたって閾値移動量未満で前記仮想オブジェクトの前記第１の表現に対応する前記タッチ感知面上の前記場所に維持されるときに満たされる基準を含む、請求項３３に記載の方法。
【請求項３６】
前記デバイスが、前記タッチ感知面との接触の強度を検出する１つ以上のセンサを含み、
前記第１の基準が、前記第１の接触の特性強度が第１の強度閾値を上回るほどに高くなったときに満たされる基準を含む、請求項３３に記載の方法。
【請求項３７】
前記第１の接触による前記第１の入力を検出したことに応答して、前記第１の入力が閾値距離を上回る前記タッチ感知面にわたるある方向の前記第１の接触の移動を含むことを前記第２の基準が要求する場合において、前記第１の接触による前記第１の入力が前記第２の基準を満足するとの判定にしたがって、前記第１の接触の移動方向に対応する方向に前記第１のユーザーインターフェース領域をスクロールすることを含む、請求項３３に記載の方法。
【請求項３８】
前記第１の接触による前記第１の入力を検出したことに応答して、前記第１の接触による前記第１の入力が第３の基準を満足するとの判定にしたがって、前記１つ以上のカメラの前記視野の前記表現とともに前記仮想オブジェクトの前記第３の表現を表示することを含む、請求項３３から３７のいずれか一項に記載の方法。
【請求項３９】
前記デバイスが、１つ以上のデバイス向きセンサを含み、
前記方法が、前記第１の接触による前記第１の入力を検出したことに応答して、前記１つ以上のデバイス向きセンサによって、前記デバイスの現在のデバイスの向きを判定することを含み、
前記第３の基準は、前記第３の基準が満たされるためには、前記現在のデバイスの向きが、第１の向きの範囲内であることを要求する、請求項３８に記載の方法。
【請求項４０】
前記仮想オブジェクトの前記第２の表現の少なくとも１つの表示特性が、前記仮想オブジェクトの前記第３の表現に適用される、請求項３３から３９のいずれか一項に記載の方法。
【請求項４１】
前記第１の接触による前記第１の入力の少なくとも初期部分を検出したことに応答して、
前記１つ以上のカメラをアクティブ化することと、
前記１つ以上のカメラの前記視野を分析して、前記１つ以上のカメラの前記視野内の１つ以上のプレーンを検出することと、を含む、請求項３３から４０のいずれか一項に記載の方法。
【請求項４２】
前記デバイスが、１つ以上の触知出力生成器を含み、
前記方法が、前記１つ以上のカメラの前記視野内のそれぞれのプレーンを検出したことに応答して、前記１つ以上の触知出力生成器によって、前記１つ以上のカメラの前記視野内のそれぞれのプレーンの前記検出を示す触知出力を出力することを含む、請求項４１に記載の方法。
【請求項４３】
前記ディスプレイ上の前記仮想オブジェクトの前記第３の表現のサイズが、前記仮想オブジェクトの擬似的な現実世界のサイズ、及び前記１つ以上のカメラと、前記仮想オブジェクトの前記第３の表現が固定された空間的関係を有する前記１つ以上のカメラの前記視野内の場所との間の距離に基づいて決定される、請求項３３から４２のいずれか一項に記載の方法。
【請求項４４】
拡張現実環境内に前記仮想オブジェクトを表示する要求に対応する前記第２の入力が、前記仮想オブジェクトの前記第２の表現をドラッグする入力を含む、請求項３３から４３のいずれか一項に記載の方法。
【請求項４５】
前記仮想オブジェクトの前記第２の表現を前記第２のユーザーインターフェース領域に表示している間に、前記第１のユーザーインターフェース領域を再表示するそれぞれの基準を満足する第４の入力を検出することと、
前記第４の入力を検出したことに応答して、
前記第２のユーザーインターフェース領域に前記仮想オブジェクトの前記第２の表現を表示することを停止することと、
前記第１のユーザーインターフェース領域に前記仮想オブジェクトの前記第１の表現を再表示することと、を含む、請求項３３から４４のいずれか一項に記載の方法。
【請求項４６】
前記１つ以上のカメラの前記視野の前記表現とともに前記仮想オブジェクトの前記第３の表現を表示している間に、前記第２のユーザーインターフェース領域を再表示するそれぞれの基準を満たす第５の入力を検出することと、
前記第５の入力を検出したことに応答して、
前記仮想オブジェクトの前記第３の表現、及び前記１つ以上のカメラの前記視野の前記表現を表示することを停止することと、
前記第２のユーザーインターフェース領域に前記仮想オブジェクトの前記第２の表現を再表示することと、を含む、請求項３３から４５のいずれか一項に記載の方法。
【請求項４７】
前記１つ以上のカメラの前記視野の前記表現とともに前記仮想オブジェクトの前記第３の表現を表示している間に、前記第１のユーザーインターフェース領域を再表示するそれぞれの基準を満たす第６の入力を検出することと、
前記第６の入力を検出したことに応答して、
前記仮想オブジェクトの前記第３の表現、及び前記１つ以上のカメラの前記視野の前記表現を表示することを停止することと、
前記第１のユーザーインターフェース領域に前記仮想オブジェクトの前記第１の表現を再表示することと、を含む、請求項３３から４６のいずれか一項に記載の方法。
【請求項４８】
前記第１の接触による前記第１の入力を検出したことに応答して、前記接触による前記入力が前記第１の基準を満足するとの判定にしたがって、前記第１のユーザーインターフェース領域を表示することから前記第２のユーザーインターフェース領域を表示することに遷移しているとき、前記第１のユーザーインターフェース領域における前記仮想オブジェクトの前記第１の表現が前記第２のユーザーインターフェース領域における前記仮想オブジェクトの前記第２の表現に移り変わるアニメーションを表示することを含む、前記仮想オブジェクトを連続的に表示することを含む、請求項３３から４７のいずれか一項に記載の方法。
【請求項４９】
前記第２の接触による前記第２の入力を検出したことに応答して、前記第２の接触による前記第２の入力が前記拡張現実環境に前記仮想オブジェクトを表示する前記要求に対応するとの判定にしたがって、前記第２のユーザーインターフェース領域を表示することから前記１つ以上のカメラの前記視野を含む第３のユーザーインターフェース領域を表示することに遷移するとき、前記第２のユーザーインターフェース領域における前記仮想オブジェクトの前記第２の表現が前記１つ以上のカメラの前記視野を含む前記第３のユーザーインターフェース領域における前記仮想オブジェクトの前記第３の表現に移り変わるアニメーションを表示することを含む、前記仮想オブジェクトを連続的に表示することを含む、請求項３３から４８のいずれか一項に記載の方法。
【請求項５０】
ディスプレイと、
タッチ感知面と、
１つ以上のカメラと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備えるコンピュータシステムであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
前記ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示し、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの前記第１の表現を表示している間に、前記ディスプレイ上の前記仮想オブジェクトの前記第１の表現に対応する前記タッチ感知面上の場所における第１の接触による第１の入力を検出し、
前記第１の接触による前記第１の入力を検出したことに応答して、前記第１の接触による前記第１の入力が第１の基準を満足するとの判定にしたがって、前記第１のユーザーインターフェース領域とは異なる第２のユーザーインターフェース領域に前記仮想オブジェクトの表現を表示し、
前記第２のユーザーインターフェース領域に前記仮想オブジェクトの前記第２の表現を表示している間に、第２の入力を検出し、
前記第２の入力を検出したことに応答して、
前記第２の入力が前記第２のユーザーインターフェース領域内で前記仮想オブジェクトを操作する要求に対応しているとの判定にしたがって、前記第２の入力に基づいて前記第２のユーザーインターフェース領域内で前記仮想オブジェクトの前記第２の表現の表示特性を変化させ、
前記第２の入力が拡張現実環境内に前記仮想オブジェクトを表示する要求に対応しているとの判定にしたがって、前記１つ以上のカメラの視野の表現とともに前記仮想オブジェクトの第３の表現を表示する、命令を含む、コンピュータシステム。
【請求項５１】
１つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、ディスプレイ、タッチ感知面、及び１つ以上のカメラを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、
前記ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示させ、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの前記第１の表現を表示している間に、前記ディスプレイ上の前記仮想オブジェクトの前記第１の表現に対応する前記タッチ感知面上の場所における第１の接触による第１の入力を検出させ、
前記第１の接触による前記第１の入力を検出したことに応答して、前記第１の接触による前記入力が第１の基準を満足するとの判定にしたがって、前記第１のユーザーインターフェース領域とは異なる第２のユーザーインターフェース領域に前記仮想オブジェクトの前記表現を表示させ、
前記第２のユーザーインターフェース領域に前記仮想オブジェクトの前記第２の表現を表示している間に、第２の入力を検出させ、
前記第２の入力を検出したことに応答して、
前記第２の入力が前記第２のユーザーインターフェース領域内で前記仮想オブジェクトを操作する要求に対応しているとの判定にしたがって、前記第２の入力に基づいて前記第２のユーザーインターフェース領域内で前記仮想オブジェクトの前記第２の表現の表示特性を変化させ、
前記第２の入力が拡張現実環境内に前記仮想オブジェクトを表示する要求に対応しているとの判定にしたがって、前記１つ以上のカメラの視野の表現とともに前記仮想オブジェクトの第３の表現を表示させる、コンピュータ可読記憶媒体。
【請求項５２】
ディスプレイと、
タッチ感知面と、
１つ以上のカメラと、
前記ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示する手段と、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの前記第１の表現を表示している間に使用可能になる、前記ディスプレイ上の前記仮想オブジェクトの前記第１の表現に対応する前記タッチ感知面上の場所における第１の接触による第１の入力を検出する手段と、
前記第１の接触による前記第１の入力を検出したことに応答して、前記第１の接触による前記入力が第１の基準を満足するとの判定にしたがって使用可能になる、前記第１のユーザーインターフェース領域とは異なる第２のユーザーインターフェース領域に前記仮想オブジェクトの前記表現を表示する手段と、
前記第２のユーザーインターフェース領域に前記仮想オブジェクトの前記第２の表現を表示している間に使用可能になる、第２の入力を検出する手段と、
前記第２の入力を検出したことに応答して使用可能になる手段であり、
前記第２の入力が前記第２のユーザーインターフェース領域内で前記仮想オブジェクトを操作する要求に対応しているとの判定にしたがって使用可能になる、前記第２の入力に基づいて前記第２のユーザーインターフェース領域内で前記仮想オブジェクトの前記第２の表現の表示特性を変化させる手段、及び
前記第２の入力が拡張現実環境内に前記仮想オブジェクトを表示する要求に対応しているとの判定にしたがって使用可能になる、前記１つ以上のカメラの視野の表現とともに前記仮想オブジェクトの第３の表現を表示する手段、を含む手段と、を備える、コンピュータシステム。
【請求項５３】
ディスプレイ、タッチ感知面、及び１つ以上のカメラを備えるコンピュータシステムで使用される情報処理装置であって、
前記ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示する手段と、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの前記第１の表現を表示している間に使用可能になる、前記ディスプレイ上の前記仮想オブジェクトの前記第１の表現に対応する前記タッチ感知面上の場所における第１の接触による第１の入力を検出する手段と、
前記第１の接触による前記第１の入力を検出したことに応答して、前記第１の接触による前記入力が第１の基準を満足するとの判定にしたがって使用可能になる、前記第１のユーザーインターフェース領域とは異なる第２のユーザーインターフェース領域に前記仮想オブジェクトの前記表現を表示する手段と、
前記第２のユーザーインターフェース領域に前記仮想オブジェクトの前記第２の表現を表示している間に使用可能になる、第２の入力を検出する手段と、
前記第２の入力を検出したことに応答して使用可能になる手段であり、
前記第２の入力が前記第２のユーザーインターフェース領域内で前記仮想オブジェクトを操作する要求に対応しているとの判定にしたがって使用可能になる、前記第２の入力に基づいて前記第２のユーザーインターフェース領域内で前記仮想オブジェクトの前記第２の表現の表示特性を変化させる手段、及び
前記第２の入力が拡張現実環境内に前記仮想オブジェクトを表示する要求に対応しているとの判定にしたがって使用可能になる、前記１つ以上のカメラの視野の表現とともに前記仮想オブジェクトの第３の表現を表示する手段、を含む手段と、を備える、情報処理装置。
【請求項５４】
ディスプレイと、
タッチ感知面と、
１つ以上のカメラと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項３３から４９に記載の方法のいずれかを実行する命令を含む、コンピュータシステム。
【請求項５５】
１つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、ディスプレイ、タッチ感知面、及び１つ以上のカメラを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、請求項３３から４９に記載の方法のいずれかを実行させる、コンピュータ可読記憶媒体。
【請求項５６】
ディスプレイ、タッチ感知面、１つ以上のカメラ、メモリ、及び前記メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサを備えたコンピュータシステムのグラフィカルユーザーインターフェースであって、請求項３３から４９に記載の方法のいずれかにしたがって表示されるユーザーインターフェースを含む、グラフィカルユーザーインターフェース。
【請求項５７】
ディスプレイと、
タッチ感知面と、
１つ以上のカメラと、
請求項３３から４９に記載の方法のいずれかを実行する手段と、を備える、コンピュータシステム。
【請求項５８】
ディスプレイ、タッチ感知面、及び１つ以上のカメラを備えたコンピュータシステムで使用される情報処理装置であって、
請求項３３から４９に記載の方法のいずれかを実行する手段を備える、情報処理装置。
【請求項５９】
ディスプレイ及びタッチ感知面を有するデバイスにおいて、
第１のアイテムを含む第１のユーザーインターフェースを表示する要求を受信することと、
前記第１のユーザーインターフェースを表示する前記要求に応答して、前記第１のアイテムの表現とともに前記第１のユーザーインターフェースを表示することであり、
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、前記第１のアイテムが第１のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに前記第１のアイテムの前記表現を表示すること、及び
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、前記視覚的な指示なしで前記第１のアイテムの前記表現を表示すること、を含むことと、
前記第１のアイテムの前記表現を表示した後で、第２のアイテムを含む第２のユーザーインターフェースを表示する要求を受信することと、
前記第２のユーザーインターフェースを表示する前記要求に応答して、前記第２のアイテムの表現とともに前記第２のユーザーインターフェースを表示することであり、
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、前記第２のアイテムが第２のそれぞれの仮想三次元オブジェクトに対応していることを示す前記視覚的な指示とともに前記第２のアイテムの前記表現を表示すること、及び
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、前記視覚的な指示なしで前記第２のアイテムの前記表現を表示すること、を含むことと、を含む、方法。
【請求項６０】
前記デバイスが、１つ以上のデバイス向きセンサを含み、
前記第１のアイテムが第１のそれぞれの仮想三次元オブジェクトに対応していることを示す前記視覚的な指示とともに前記第１のアイテムの前記表現を表示することが、
第１のデバイスの向きから第２のデバイスの向きへの変化をもたらす前記デバイスの移動を検出したことに応答して、前記第１のデバイスの向きから前記第２のデバイスの向きへの前記変化に対応する前記第１のアイテムの移動を表示することを含む、請求項５９に記載の方法。
【請求項６１】
前記第１のアイテムが第１のそれぞれの仮想三次元オブジェクトに対応していることを示す前記視覚的な指示とともに前記第１のアイテムの前記表現を表示することが、
前記第１のアイテムの前記表現が前記第１のユーザーインターフェースに表示されている間に前記第１のユーザーインターフェースをスクロールする第１の接触による第１の入力を検出したことに応答して、
前記第１のユーザーインターフェースのスクロールにしたがって、前記ディスプレイ上の前記第１のアイテムの前記表現を並進移動させることと、
前記第１のユーザーインターフェースがスクロールされる方向にしたがって、前記第１のユーザーインターフェースによって規定されるプレーンに対して前記第１のアイテムの前記表現を回転させることと、を含む、請求項５９又は６０に記載の方法。
【請求項６２】
前記第１のアイテムの前記表現を前記視覚的な指示とともに前記第１のユーザーインターフェースに表示している間に、第３のアイテムの表現を表示することを含み、前記第３のアイテムが仮想三次元オブジェクトに対応していないことを示すために、前記第３のアイテムの前記表現が前記視覚的な指示なしで表示される、請求項５９から６１のいずれか一項に記載の方法。
【請求項６３】
前記第２のアイテムの前記表現を前記視覚的な指示とともに前記第２のユーザーインターフェースに表示している間に、第４のアイテムの表現を表示することを含み、前記第４のアイテムがそれぞれの仮想三次元オブジェクトに対応していないことを示すために、前記第４のアイテムの前記表現が前記視覚的な指示なしで表示される、請求項５９から６２のいずれか一項に記載の方法。
【請求項６４】
前記第１のユーザーインターフェースが、第１のアプリケーションに対応しており、
前記第２のユーザーインターフェースが、前記第１のアプリケーションとは異なる第２のアプリケーションに対応しており、
前記視覚的な指示とともに表示される前記第１のアイテムの前記表現と、前記視覚的な指示とともに表示される前記第２のアイテムの前記表現とが、視覚特性及び／又は挙動特性の所定の１組を共有している、請求項５９から６３のいずれか一項に記載の方法。
【請求項６５】
前記第１のユーザーインターフェースが、インターネットブラウザアプリケーションのユーザーインターフェースであり、前記第１のアイテムが、ウェブページの要素である、請求項５９から６４のいずれか一項に記載の方法。
【請求項６６】
前記第１のユーザーインターフェースが、電子メールアプリケーションのユーザーインターフェースであり、前記第１のアイテムが、電子メールの添付物である、請求項５９から６４のいずれか一項に記載の方法。
【請求項６７】
前記第１のユーザーインターフェースが、メッセージングアプリケーションのユーザーインターフェースであり、前記第１のアイテムが、メッセージの添付物又は要素である、請求項５９から６４のいずれか一項に記載の方法。
【請求項６８】
前記第１のユーザーインターフェースが、ファイル管理アプリケーションのユーザーインターフェースであり、前記第１のアイテムが、ファイルプレビューオブジェクトである、請求項５９から６４のいずれか一項に記載の方法。
【請求項６９】
前記第１のユーザーインターフェースが、マップアプリケーションのユーザーインターフェースであり、前記第１のアイテムが、マップ中の対象点の表現である、請求項５９から６４のいずれか一項に記載の方法。
【請求項７０】
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応しているという前記視覚的な指示が、前記それぞれの三次元オブジェクトの前記表現に向けられた入力を必要とせずに発生する前記第１のアイテムのアニメーションを含む、請求項５９から６９のいずれか一項に記載の方法。
【請求項７１】
前記デバイスが、１つ以上のカメラを含み、
前記方法が、
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していることを示す前記視覚的な指示とともに前記第２のアイテムの前記表現を表示している間に、前記第２のアイテムの前記表現に対応する前記タッチ感知面上の場所における第２の接触による第２の入力を検出することと、
前記第２の接触による前記第２の入力を検出したことに応答して、前記第２の接触による前記第２の入力が第１の基準を満足するとの判定にしたがって、
前記１つ以上のカメラの視野の表現で前記第２のユーザーインターフェースの少なくとも一部分の表示を置き換えることを含む、前記ディスプレイ上に第３のユーザーインターフェース領域を表示することと、
前記第２のユーザーインターフェースを表示することから前記第３のユーザーインターフェース領域を表示することにスイッチングしている間に、前記第２の仮想三次元オブジェクトを連続的に表示することと、を含む、請求項５９から７０のいずれか一項に記載の方法。
【請求項７２】
前記デバイスが、１つ以上のカメラを含み、
前記方法が、
前記第２のアイテムが前記第２の仮想三次元オブジェクトに対応していることを示す前記視覚的な指示とともに前記第２のアイテムを表示している間に、前記第２のアイテムの前記表現に対応する前記タッチ感知面上の場所における第３の接触による第３の入力を検出することと、
前記第３の接触による前記第３の入力を検出したことに応答して、前記第３の接触による前記第３の入力が第１の基準を満足するとの判定にしたがって、前記第２のユーザーインターフェースとは異なる第４のユーザーインターフェースに前記第２の仮想三次元オブジェクトを表示することと、
前記第４のユーザーインターフェースに前記それぞれの仮想三次元オブジェクトを表示している間に、第４の入力を検出することと、
前記第４の入力を検出したことに応答して、
前記第４の入力が前記第４のユーザーインターフェース内で前記第２の仮想三次元オブジェクトを操作する要求に対応しているとの判定にしたがって、前記第４の入力に基づいて前記第４のユーザーインターフェース内の前記第２の仮想三次元オブジェクトの表示特性を変化させることと、
前記第４の入力が拡張現実環境に前記第２の仮想オブジェクトを表示する要求に対応しているとの判定にしたがって、前記１つ以上のカメラの視野の表現とともに前記第２の仮想三次元オブジェクトを表示することと、を含む、請求項５９から７０のいずれか一項に記載の方法。
【請求項７３】
ディスプレイと、
タッチ感知面と、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備えるコンピュータシステムであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
第１のアイテムを含む第１のユーザーインターフェースを表示する要求を受信し、
前記第１のユーザーインターフェースを表示する前記要求に応答して、前記第１のアイテムの表現とともに前記第１のユーザーインターフェースを表示し、
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、前記第１のアイテムが第１のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに前記第１のアイテムの表現を表示し、
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、前記視覚的な指示なしで前記第１のアイテムの前記表現を表示し、
前記第１のアイテムの前記表現を表示した後で、第２のアイテムを含む第２のユーザーインターフェースを表示する要求を受信し、
前記第２のユーザーインターフェースを表示する前記要求に応答して、前記第２のアイテムの表現とともに前記第２のユーザーインターフェースを表示し、
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、前記第２のアイテムが第２のそれぞれの仮想三次元オブジェクトに対応していることを示す前記視覚的な指示とともに前記第２のアイテムの表現を表示し、
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、前記視覚的な指示なしで前記第２のアイテムの前記表現を表示する、命令を含む、コンピュータシステム。
【請求項７４】
１つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、ディスプレイ及びタッチ感知面を備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、
第１のアイテムを含む第１のユーザーインターフェースを表示する要求を受信させ、
前記第１のユーザーインターフェースを表示する前記要求に応答して、前記第１のアイテムの表現とともに前記第１のユーザーインターフェースを表示させ、
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、前記第１のアイテムが第１のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに前記第１のアイテムの表現を表示させ、
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、前記視覚的な指示なしで前記第１のアイテムの前記表現を表示させ、
前記第１のアイテムの前記表現を表示した後で、第２のアイテムを含む第２のユーザーインターフェースを表示する要求を受信させ、
前記第２のユーザーインターフェースを表示する前記要求に応答して、前記第２のアイテムの表現とともに前記第２のユーザーインターフェースを表示させ、
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、前記第２のアイテムが第２のそれぞれの仮想三次元オブジェクトに対応していることを示す前記視覚的な指示とともに前記第２のアイテムの表現を表示させ、
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、前記視覚的な指示なしで前記第２のアイテムの前記表現を表示させる、コンピュータ可読記憶媒体。
【請求項７５】
ディスプレイと、
タッチ感知面と、
第１のアイテムを含む第１のユーザーインターフェースを表示する要求を受信する手段と、
前記第１のユーザーインターフェースを表示する前記要求に応答して使用可能になる、前記第１のアイテムの表現とともに前記第１のユーザーインターフェースを表示する手段であり、
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって使用可能になる、前記第１のアイテムが第１のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに前記第１のアイテムの表現を表示する手段、及び
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって使用可能になる、前記視覚的な指示なしで前記第１のアイテムの前記表現を表示する手段、を含む手段と、
前記第１のアイテムの前記表現を表示した後で使用可能になる、第２のアイテムを含む第２のユーザーインターフェースを表示する要求を受信する手段と、
前記第２のユーザーインターフェースを表示する前記要求に応答して使用可能になる、前記第２のアイテムの表現とともに前記第２のユーザーインターフェースを表示する手段であり、
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって使用可能になる、前記第２のアイテムが第２のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに前記第２のアイテムの表現を表示する手段、及び
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって使用可能になる、前記視覚的な指示なしで前記第２のアイテムの前記表現を表示する手段、を含む手段と、を備える、コンピュータシステム。
【請求項７６】
ディスプレイ及びタッチ感知面を備えるコンピュータシステムで使用される情報処理装置であって、
第１のアイテムを含む第１のユーザーインターフェースを表示する要求を受信する手段と、
前記第１のユーザーインターフェースを表示する前記要求に応答して使用可能になる、前記第１のアイテムの表現とともに前記第１のユーザーインターフェースを表示する手段であり、
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって使用可能になる、前記第１のアイテムが第１のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに前記第１のアイテムの表現を表示する手段、及び
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって使用可能になる、前記視覚的な指示なしで前記第１のアイテムの前記表現を表示する手段、を含む手段と、
前記第１のアイテムの前記表現を表示した後で使用可能になる、第２のアイテムを含む第２のユーザーインターフェースを表示する要求を受信する手段と、
前記第２のユーザーインターフェースを表示する前記要求に応答して使用可能になる、前記第２のアイテムの表現とともに前記第２のユーザーインターフェースを表示する手段であり、
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって使用可能になる、前記第２のアイテムが第２のそれぞれの仮想三次元オブジェクトに対応していることを示す前記視覚的な指示とともに前記第２のアイテムの表現を表示する手段、及び
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって使用可能になる、前記視覚的な指示なしで前記第２のアイテムの前記表現を表示する手段、を含む手段と、を備える、情報処理装置。
【請求項７７】
ディスプレイと、
タッチ感知面と、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項５９から７２に記載の方法のいずれかを実行する命令を含む、コンピュータシステム。
【請求項７８】
１つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、ディスプレイ及びタッチ感知面を備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、請求項５９から７２に記載の方法のいずれかを実行させる、コンピュータ可読記憶媒体。
【請求項７９】
ディスプレイ、タッチ感知面、メモリ、及び前記メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサを備えたコンピュータシステムのグラフィカルユーザーインターフェースであって、請求項５９から７２に記載の方法のいずれかにしたがって表示されるユーザーインターフェースを含む、グラフィカルユーザーインターフェース。
【請求項８０】
ディスプレイと、
タッチ感知面と、
請求項５９から７２に記載の方法のいずれかを実行する手段と、を備えるコンピュータシステム。
【請求項８１】
ディスプレイ及びタッチ感知面を備えたコンピュータシステムで使用される情報処理装置であって、
請求項５９から７２に記載の方法のいずれかを実行する手段を備える、情報処理装置。
【請求項８２】
表示生成コンポーネント、１つ以上の入力デバイス、及び１つ以上のカメラを有するデバイスにおいて、
前記１つ以上のカメラの視野の少なくとも一部分を含む第１のユーザーインターフェース領域に仮想オブジェクトを表示する要求を受信することと、
前記仮想オブジェクトを前記第１のユーザーインターフェース領域に表示する要求に応答して、前記表示生成コンポーネントを介して前記第１のユーザーインターフェース領域に含まれる前記１つ以上のカメラの前記視野の少なくとも一部分の上に前記仮想オブジェクトの表現を表示することと、を含み、前記１つ以上のカメラの前記視野が、前記１つ以上のカメラが位置している物理的環境のビューであり、前記仮想オブジェクトの前記表現を表示することが、
オブジェクト配置基準が満足されていないとの判定にしたがって、第１の１組の視覚特性と、前記１つ以上のカメラの前記視野内において前記物理的環境のどの部分が表示されるかに無関係な第１の向きとを伴う前記仮想オブジェクトの前記表現を表示することであり、前記オブジェクト配置基準が満たされるためには、前記仮想オブジェクトの配置場所が前記１つ以上のカメラの前記視野内で特定されることを必要とする、こと、及び
前記オブジェクト配置基準が満足されたとの判定にしたがって、前記第１の１組の視覚特性とは異なるの第２の１組の視覚特性と、前記１つ以上のカメラの前記視野内で検出された前記物理的環境内におけるプレーンに対応した第２の向きとを伴う前記仮想オブジェクトの前記表現を表示すること、を含む、方法。
【請求項８３】
前記仮想オブジェクトの前記表現が前記第１の１組の視覚特性と前記第１の向きで表示されている間に前記オブジェクト配置基準が満たされたことを検出することを含む、請求項８２に記載の方法。
【請求項８４】
前記オブジェクト配置基準が満たされたことを検出したことに応答して、前記第１の向きから前記第２の向きに移動し、前記第１の１組の視覚特性を有することから前記第２の１組の視覚特性を有することに変化する前記仮想オブジェクトの前記表現を示すアニメーション化された遷移を、前記表示生成コンポーネントを介して表示することを含む、請求項８３に記載の方法。
【請求項８５】
オブジェクト配置基準が満たされていることを検出することが、
プレーンが前記１つ以上のカメラの前記視野内で特定されたことを検出すること、
少なくとも閾値時間にわたって前記デバイスと前記物理的環境との間において閾値移動量未満であることを検出すること、及び
前記第１のユーザーインターフェース領域内に前記仮想オブジェクトを表示する前記要求を受信してから少なくとも所定の時間が満了したことを検出することのうちの１つ以上を含む、請求項８３又は８４に記載の方法。
【請求項８６】
前記第１の１組の視覚特性と、前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境の第１の部分にわたる前記第１の向きとを伴う前記仮想オブジェクトの前記表現が表示されている間に、前記１つ以上のカメラの第１の移動を検出することと、
前記１つ以上のカメラの前記第１の移動を検出したことに応答して、前記第１の１組の視覚特性と、前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境の第２の部分にわたる前記第１の向きとを伴う前記仮想オブジェクトの前記表現を表示することとを含み、前記物理的環境の前記第２の部分が、前記物理的環境の前記第１の部分とは異なる、請求項８２から８５のいずれか一項に記載の方法。
【請求項８７】
前記第２の１組の視覚特性と、前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境の第３の部分にわたる前記第２の向きとを伴う前記仮想オブジェクトの前記表現が表示されている間に、前記１つ以上のカメラの第２の移動を検出することと、
前記デバイスの前記第２の移動を検出したことに応答して、前記デバイスの前記第２の移動にしたがって前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境が動き、前記第２の向きが前記１つ以上のカメラの前記視野内で検出された前記物理的環境内の前記プレーンに対応し続ける間に、前記第２の１組の視覚特性と、前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境の前記第３の部分にわたる前記第２の向きとを伴う前記仮想オブジェクトの前記表現の表示を維持することと、を含む、請求項８２から８６のいずれか一項に記載の方法。
【請求項８８】
前記オブジェクト配置基準が満足されたとの判定にしたがって、前記第２の１組の視覚特性と、前記１つ以上のカメラの前記視野内で検出された前記物理的環境内の前記プレーンに対応した前記第２の向きとを伴う前記仮想オブジェクトの前記表現を表示することに関連して、触知出力を生成することを含む、請求項８２から８７のいずれか一項に記載の方法。
【請求項８９】
前記第２の１組の視覚特性と、前記１つ以上のカメラの前記視野内で検出された前記物理的環境内の前記プレーンに対応した前記第２の向きとを伴う前記仮想オブジェクトの前記表現を表示している間に、前記１つ以上のカメラの前記視野内で検出された前記物理的環境における前記プレーンの少なくとも場所又は向きに関する更新を受信することと、
前記１つ以上のカメラの前記視野内で検出された前記物理的環境内における前記プレーンの少なくとも前記場所又は前記向きに関する前記更新を受信したことに応答して、前記更新にしたがって、前記仮想オブジェクトの前記表現の少なくとも場所及び／又は向きを調整することと、を含む、請求項８２から８８のいずれか一項に記載の方法。
【請求項９０】
前記第１の１組の視覚特性が、第１のサイズと第１の半透明性レベルとを含み、
前記第２の１組の視覚特性が、前記第１のサイズとは異なる第２のサイズと、前記第１の半透明性レベルより低い第２の半透明性レベルとを含む、請求項８２から８９のいずれか一項に記載に記載の方法。
【請求項９１】
前記１つ以上のカメラの前記視野の少なくとも一部分を含まないそれぞれのユーザーインターフェースに前記仮想オブジェクトが表示されている間に、前記１つ以上のカメラの前記視野の少なくとも一部分を含む前記第１のユーザーインターフェース領域内に前記仮想オブジェクトを表示する前記要求が受信され、
前記第１の向きが、前記要求を受信したときに前記仮想オブジェクトが前記それぞれのユーザーインターフェースに表示されている間の前記仮想オブジェクトの向きに対応している、請求項８２から９０のいずれか一項に記載の方法。
【請求項９２】
前記第１の向きが、所定の向きに対応する、請求項８２から９０のいずれか一項に記載の方法。
【請求項９３】
前記第２の１組の視覚特性と、前記１つ以上のカメラの前記視野内で検出された前記物理的環境内の前記プレーンに対応する前記第２の向きとを伴う前記仮想オブジェクトを前記第１のユーザーインターフェース領域に表示している間に、前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境に対して第１の擬似的な物理的サイズから第２の擬似的な物理的サイズまで、前記仮想オブジェクトの擬似的な物理的サイズを変化させる要求を検出することと、
前記仮想オブジェクトの前記擬似的な物理的サイズを変化させる前記要求を検出したことに応答して、
前記仮想オブジェクトの前記擬似的な物理的サイズの前記第１の擬似的な物理的サイズから前記第２の擬似的な物理的サイズへの段階的な変化にしたがって、前記第１のユーザーインターフェース領域における前記仮想オブジェクトの前記表現の表示サイズを徐々に変化させることと、
前記第１のユーザーインターフェース領域における前記仮想オブジェクトの前記表現の前記表示サイズの前記段階的な変化中、前記仮想オブジェクトの前記擬似的な物理的サイズが所定の擬似的な物理的サイズに達したとの判定にしたがって、前記仮想オブジェクトの前記擬似的な物理的サイズが前記所定の擬似的な物理的サイズに達したことを示す触知出力を生成することと、を含む、請求項８２から９２のいずれか一項に記載の方法。
【請求項９４】
前記所定の擬似的な物理的サイズとは異なる前記仮想オブジェクトの前記第２の擬似的な物理的サイズで前記第１のユーザーインターフェース領域に前記仮想オブジェクトを表示している間に、前記仮想オブジェクトを前記所定の擬似的な物理的サイズに戻す要求を検出することと、
前記仮想オブジェクトを前記所定の擬似的な物理的サイズに戻す前記要求を検出したことに応答して、前記仮想オブジェクトの前記擬似的な物理的サイズの前記所定の擬似的な物理的サイズへの変化にしたがって、前記第１のユーザーインターフェース領域における前記仮想オブジェクトの前記表現の前記表示サイズを変化させることと、を含む、請求項９３に記載の方法。
【請求項９５】
前記物理的環境に対する前記１つ以上のカメラのそれぞれの位置及び向きにしたがって、前記第２の１組の視覚特性を伴う前記仮想オブジェクトの前記表現の前記第２の向きを設定する前記プレーンを選択することを含み、前記プレーンを選択することが、
前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境の第１の部分にわたって前記仮想オブジェクトの前記表現が表示されたときに前記オブジェクト配置基準が満たされたとの判定にしたがって、前記第２の１組の視覚特性を伴う前記仮想オブジェクトの前記表現の前記第２の向きを設定する前記プレーンとして、前記１つ以上のカメラの前記視野内の前記物理的環境内において検出された複数のプレーンのうちの第１のプレーンを選択することと、
前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境の第２の部分にわたって前記仮想オブジェクトの前記表現が表示されたときに前記オブジェクト配置基準が満たされたとの判定にしたがって、前記第２の１組の視覚特性を伴う前記仮想オブジェクトの前記表現の前記第２の向きを設定する前記プレーンとして、前記１つ以上のカメラの前記視野内の前記物理的環境内で検出された前記複数のプレーンのうちの第２のプレーンを選択することと、を含み、前記物理的環境の前記第１の部分が、前記物理的環境の前記第２の部分とは異なり、前記第１のプレーンが、前記第２のプレーンとは異なる、請求項８２から９４のいずれか一項に記載の方法。
【請求項９６】
前記第１のユーザーインターフェース領域に前記第２の１組の視覚特性と前記第２の向きとを伴う前記仮想オブジェクトを表示すると同時に、スナップショットアフォーダンスを表示することと、
前記スナップショットアフォーダンスのアクティブ化に応答して、前記第２の１組の視覚特性と、前記１つ以上のカメラの前記視野内で検出された前記物理的環境内の前記プレーンに対応する前記第２の向きとを伴う、前記１つ以上のカメラの前記視野内の前記物理的環境内の配置場所における前記仮想オブジェクトの前記表現の現在のビューを含むスナップショット画像をキャプチャすることと、を含む、請求項８２から９５のいずれか一項に記載の方法。
【請求項９７】
１つ以上の制御アフォーダンスを、前記第１のユーザーインターフェース領域内に前記第２の１組の視覚特性を有する前記仮想オブジェクトの前記表現とともに表示することと、
前記第２の１組の視覚特性を有する前記仮想オブジェクトの前記表現とともに前記１つ以上の制御アフォーダンスを表示している間に、制御フェイディング基準が満たされていることを検出することと、
前記制御フェイディング基準が満たされていることを検出したことに応答して、前記１つ以上のカメラの前記視野を含む前記第１のユーザーインターフェース領域内に前記第２の１組の視覚特性を有する前記仮想オブジェクトの前記表現を表示し続けながら、前記１つ以上の制御アフォーダンスを表示することを停止することと、を含む、請求項８２から９６のいずれか一項に記載の方法。
【請求項９８】
前記第１のユーザーインターフェース領域内に前記仮想オブジェクトを表示する前記要求に応答して、前記第１のユーザーインターフェース領域に含まれる前記１つ以上のカメラの前記視野の少なくとも一部分にわたって前記仮想オブジェクトの前記表現を表示する前に、較正基準が満足されていないとの判定にしたがって、ユーザーが前記物理的環境に対して前記デバイスを動かすことについてのプロンプトを表示することを含む、請求項８２から９７のいずれか一項に記載の方法。
【請求項９９】
表示生成コンポーネントと、
１つ以上の入力デバイスと、
１つ以上のカメラと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備えるコンピュータシステムであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
前記１つ以上のカメラの視野の少なくとも一部分を含む第１のユーザーインターフェース領域に仮想オブジェクトを表示する要求を受信し、
前記仮想オブジェクトを前記第１のユーザーインターフェース領域に表示する要求に応答して、前記表示生成コンポーネントを介して前記第１のユーザーインターフェース領域に含まれる前記１つ以上のカメラの前記視野の少なくとも一部分の上に前記仮想オブジェクトの表現を表示する、命令を含み、前記１つ以上のカメラの前記視野が、前記１つ以上のカメラが位置している物理的環境のビューであり、前記仮想オブジェクトの前記表現を表示することが、
オブジェクト配置基準が満足されていないとの判定にしたがって、前記仮想オブジェクトの前記表現を、第１の１組の視覚特性で、かつ前記物理的環境のうちのどの部分が前記１つ以上のカメラの前記視野内に表示されているかとは無関係の第１の向きで、表示することであり、前記オブジェクト配置基準が、満たされるためには、前記仮想オブジェクトの配置場所が前記１つ以上のカメラの前記視野内で特定されることを必要とする、こと、及び
前記オブジェクト配置基準が満足されたとの判定にしたがって、前記仮想オブジェクトの前記表現を、前記第１の１組の視覚特性とは別個の第２の１組の視覚特性で、かつ前記１つ以上のカメラの前記視野内で検出された前記物理的環境内のプレーンに対応する第２の向きで、表示すること、を含む、コンピュータシステム。
【請求項１００】
１つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、表示生成コンポーネント、１つ以上の入力デバイス、及び１つ以上のカメラを備えたコンピュータシステムによって実行されたとき、前記コンピュータシステムに、
前記１つ以上のカメラの視野の少なくとも一部分を含む第１のユーザーインターフェース領域に仮想オブジェクトを表示する要求を受信させ、
前記仮想オブジェクトを前記第１のユーザーインターフェース領域に表示する要求に応答して、前記表示生成コンポーネントを介して前記第１のユーザーインターフェース領域に含まれる前記１つ以上のカメラの前記視野の少なくとも一部分の上に前記仮想オブジェクトの表現を表示させ、前記１つ以上のカメラの前記視野が、前記１つ以上のカメラが位置している物理的環境のビューであり、前記仮想オブジェクトの前記表現を表示することが、
オブジェクト配置基準が満足されていないとの判定にしたがって、前記仮想オブジェクトの前記表現を、第１の１組の視覚特性で、かつ前記物理的環境のうちのどの部分が前記１つ以上のカメラの前記視野内に表示されているかとは無関係の第１の向きで、表示することであり、前記オブジェクト配置基準が、満たされるためには、前記仮想オブジェクトの配置場所が前記１つ以上のカメラの前記視野内で特定されることを必要とする、こと、及び
前記オブジェクト配置基準が満足されたとの判定にしたがって、前記仮想オブジェクトの前記表現を、前記第１の１組の視覚特性とは別個の第２の１組の視覚特性で、かつ前記１つ以上のカメラの前記視野内で検出された前記物理的環境内のプレーンに対応する第２の向きで、表示すること、を含む、コンピュータ可読記憶媒体。
【請求項１０１】
表示生成コンポーネントと、
１つ以上の入力デバイスと、
１つ以上のカメラと、
前記１つ以上のカメラの視野の少なくとも一部分を含む第１のユーザーインターフェース領域に仮想オブジェクトを表示する要求を受信する手段と、
前記仮想オブジェクトを前記第１のユーザーインターフェース領域に表示する要求に応答して、前記表示生成コンポーネントを介して前記第１のユーザーインターフェース領域に含まれる前記１つ以上のカメラの前記視野の少なくとも一部分の上に前記仮想オブジェクトの表現を表示するように使用可能になる手段と、を備え、前記１つ以上のカメラの前記視野が、前記１つ以上のカメラが位置している物理的環境のビューであり、前記仮想オブジェクトの前記表現を表示するように使用可能になる前記手段が、
オブジェクト配置基準が満足されていないとの判定にしたがって、前記仮想オブジェクトの前記表現を、第１の１組の視覚特性で、かつ前記物理的環境のうちのどの部分が前記１つ以上のカメラの前記視野内に表示されているかとは無関係の第１の向きで、表示するように使用可能になる手段であり、前記オブジェクト配置基準が、満たされるためには、前記仮想オブジェクトの配置場所が前記１つ以上のカメラの前記視野内で特定されることを必要とする、手段、及び
前記オブジェクト配置基準が満足されたとの判定にしたがって、前記仮想オブジェクトの前記表現を、前記第１の１組の視覚特性とは別個の第２の１組の視覚特性で、かつ前記１つ以上のカメラの前記視野内で検出された前記物理的環境内のプレーンに対応する第２の向きで、表示するように使用可能になる手段、を含む、コンピュータシステム。
【請求項１０２】
表示生成コンポーネント、１つ以上の入力デバイス、及び１つ以上のカメラを備えたコンピュータシステムで使用される情報処理装置であって、
前記１つ以上のカメラの視野の少なくとも一部分を含む第１のユーザーインターフェース領域に仮想オブジェクトを表示する要求を受信する手段と、
前記仮想オブジェクトを前記第１のユーザーインターフェース領域に表示する要求に応答して、前記表示生成コンポーネントを介して前記第１のユーザーインターフェース領域に含まれる前記１つ以上のカメラの前記視野の少なくとも一部分の上に前記仮想オブジェクトの表現を表示するように使用可能になる手段と、を備え、前記１つ以上のカメラの前記視野が、前記１つ以上のカメラが位置している物理的環境のビューであり、前記仮想オブジェクトの前記表現を表示するように使用可能になる前記手段が、
オブジェクト配置基準が満足されていないとの判定にしたがって、前記仮想オブジェクトの前記表現を、第１の１組の視覚特性で、かつ前記物理的環境のうちのどの部分が前記１つ以上のカメラの前記視野内に表示されているかとは無関係の第１の向きで、表示するように使用可能になる手段であり、前記オブジェクト配置基準が、満たされるためには、前記仮想オブジェクトの配置場所が前記１つ以上のカメラの前記視野内で特定されることを必要とする、手段、及び
前記オブジェクト配置基準が満足されたとの判定にしたがって、前記仮想オブジェクトの前記表現を、前記第１の１組の視覚特性とは別個の第２の１組の視覚特性で、かつ前記１つ以上のカメラの前記視野内で検出された前記物理的環境内のプレーンに対応する第２の向きで、表示するように使用可能になる手段、を含む、情報処理装置。
【請求項１０３】
表示生成コンポーネントと、
１つ以上の入力デバイスと、
１つ以上のカメラと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備えるコンピュータシステムであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項８２から９８に記載の方法のいずれかを実行する命令を含む、コンピュータシステム。
【請求項１０４】
１つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント、１つ以上の入力デバイス、及び１つ以上のカメラを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、請求項８２から９８に記載の方法のいずれかを実行させる、コンピュータ可読記憶媒体。
【請求項１０５】
表示生成コンポーネント、１つ以上の入力デバイス、１つ以上のカメラ、メモリ、及び前記メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサを備えたコンピュータシステムのグラフィカルユーザーインターフェースであって、請求項８２から９８に記載の方法のいずれかにしたがって表示されるユーザーインターフェースを含む、グラフィカルユーザーインターフェース。
【請求項１０６】
表示生成コンポーネントと、
１つ以上の入力デバイスと、
１つ以上のカメラと、
請求項８２から９８に記載の方法のいずれかを実行する手段と、を備える、コンピュータシステム。
【請求項１０７】
表示生成コンポーネント、１つ以上の入力デバイス、及び１つ以上のカメラを備えたコンピュータシステムで使用される情報処理装置であって、
請求項８２から９８に記載の方法のいずれかを実行する手段を備える、情報処理装置。
【請求項１０８】
表示生成コンポーネント、１つ以上の入力デバイス、１つ以上のカメラ、及び前記１つ以上のカメラを含むデバイスの姿勢の変化を検出する１つ以上の姿勢センサを有する前記デバイスにおいて、
前記１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に物理的環境の拡張現実ビューを表示する要求を受信することと、
前記物理的環境の前記拡張現実ビューを表示する前記要求を受信したことに応答して、前記１つ以上のカメラの前記視野の前記表現を表示し、前記物理的環境の前記拡張現実ビューに対して較正基準が満足されていないとの判定にしたがって、前記物理的環境における前記１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示することと、を含む、方法であって、前記較正ユーザーインターフェースオブジェクトを表示することが、
前記較正ユーザーインターフェースオブジェクトを表示している間に、前記物理的環境における前記１つ以上のカメラの姿勢の変化を、前記１つ以上の姿勢センサを介して検出すること、及び
前記物理的環境における前記１つ以上のカメラの姿勢の前記変化を検出したことに応答して、前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整すること、を含み、前記方法が、更に、
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記ディスプレイ上を動く前記較正ユーザーインターフェースオブジェクトを表示している間に、前記較正基準が満たされたことを検出することと、
前記較正基準が満たされたことを検出したことに応答して、前記較正ユーザーインターフェースオブジェクトを表示することを停止することと、を含む、方法。
【請求項１０９】
前記１つ以上のカメラの前記視野の前記表現を含む前記第１のユーザーインターフェース領域内に前記物理的環境の前記拡張現実ビューを表示する前記要求が、前記物理的環境の前記拡張現実ビューに仮想三次元オブジェクトの表現を表示する要求を含む、請求項１０８に記載の方法。
【請求項１１０】
前記較正ユーザーインターフェースオブジェクトを表示することを停止した後で、前記１つ以上のカメラの前記視野の前記表現を含む前記第１のユーザーインターフェース領域内に前記仮想三次元オブジェクトの前記表現を表示することを含む、請求項１０９に記載の方法。
【請求項１１１】
前記較正ユーザーインターフェースオブジェクトと同時に前記第１のユーザーインターフェース領域に前記仮想三次元オブジェクトの前記表現を表示することを含み、前記物理的環境における前記１つ以上のカメラの前記移動中に、前記仮想三次元オブジェクトの前記表現が、前記第１のユーザーインターフェース領域における固定の場所に留まる、請求項１０９から１１０のいずれか一項に記載の方法。
【請求項１１２】
前記１つ以上のカメラの前記視野の前記表現を含む前記第１のユーザーインターフェース領域に前記物理的環境の前記拡張現実ビューを表示する前記要求が、前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境における任意の仮想三次元オブジェクトの表現の表示を要求することなく前記１つ以上のカメラの前記視野の前記表現を表示する要求を含む、請求項１０８に記載の方法。
【請求項１１３】
前記物理的環境の前記拡張現実ビューを表示する前記要求を受信したことに応答して、前記１つ以上のカメラの前記視野の前記表現を表示することと、前記物理的環境の前記拡張現実ビューについて前記較正基準が満足されたとの判定にしたがって、前記較正ユーザーインターフェースオブジェクトの表示を見合わせることと、を含む、請求項１０８から１１２のいずれか一項に記載の方法。
【請求項１１４】
前記拡張現実ビューの較正を改善するために前記ユーザーによりなされ得るアクションに関する情報を提供する前記較正ユーザーインターフェースオブジェクトと同時に、前記第１のユーザーインターフェース領域にテキストのオブジェクトを表示することを含む、請求項１０８から１１３のいずれか一項に記載の方法。
【請求項１１５】
前記較正基準が満たされたことを検出したことに応答して、前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境内で検出されたプレーンの視覚的な指示を表示することを含む、請求項１０８から１１４のいずれか一項に記載の方法。
【請求項１１６】
前記物理的環境の前記拡張現実ビューを表示する前記要求を受信したことに応答して、
前記較正基準が満足されていないとの判定にしたがって、前記較正ユーザーインターフェースオブジェクトを表示する前に、プレーンの表現に対して動く前記デバイスの表現を含むアニメーション化されたプロンプトオブジェクトを表示することを含む、請求項１０８から１１５のいずれか一項に記載の方法。
【請求項１１７】
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整することが、
前記物理的環境における前記１つ以上のカメラの第１の移動の大きさにしたがって、第１の量だけ前記較正ユーザーインターフェースオブジェクトを動かすことと、
前記物理的環境における前記１つ以上のカメラの第２の移動の大きさにしたがって、第２の量だけ前記較正ユーザーインターフェースオブジェクトを動かすことと、を含み、前記第１の量が、前記第２の量とは異なり、前記第１の移動の大きさが、前記第２の移動の大きさとは異なる、請求項１０８から１１６のいずれか一項に記載の方法。
【請求項１１８】
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整することが、
前記１つ以上のカメラの姿勢の前記検出された変化が第１の種類の移動に対応しているとの判定にしたがって、前記第１の種類の移動に基づいて前記較正ユーザーインターフェースオブジェクトを動かすことと、
前記１つ以上のカメラの姿勢の前記検出した変化が第２の種類の移動に対応しているとの判定にしたがって、前記第２の種類の移動に基づいて前記較正ユーザーインターフェースオブジェクトを動かすことを見合わせることと、を含む、請求項１０８から１１７のいずれか一項に記載の方法。
【請求項１１９】
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整することが、
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出される変化にしたがって、前記第１のユーザーインターフェース領域にわたる前記較正ユーザーインターフェースオブジェクトの特徴的な表示場所を変えることなく、前記較正ユーザーインターフェースオブジェクトを動かすことを含む、請求項１０８から１１８のいずれか一項に記載の方法。
【請求項１２０】
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整することが、
前記物理的環境における前記１つ以上のカメラの移動方向に対して直交する軸の周りで前記較正ユーザーインターフェースオブジェクトを回転させることを含む、請求項１０８から１１９のいずれか一項に記載の方法。
【請求項１２１】
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整することが、
前記１つ以上のカメラの前記視野内で検出された変化率にしたがって決定された速度で前記較正ユーザーインターフェースオブジェクトを動かすことを含む、請求項１０８から１２０のいずれか一項に記載の方法。
【請求項１２２】
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整することが、
前記１つ以上のカメラの前記視野内で検出された変化の方向にしたがって決定された方向に前記較正ユーザーインターフェースオブジェクトを動かすことを含む、請求項１０８から１２１のいずれか一項に記載の方法。
【請求項１２３】
表示生成コンポーネントと、
１つ以上の入力デバイスと、
１つ以上のカメラと、
１つ以上の姿勢センサと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備えるコンピュータシステムであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
物理的環境の拡張現実ビューを前記１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に表示する要求を受信し、
前記物理的環境の前記拡張現実ビューを表示する前記要求を受信したことに応答して、前記１つ以上のカメラの前記視野の前記表現を表示し、較正基準が前記物理的環境の前記拡張現実ビューについて満たされていないとの判定にしたがって、前記物理的環境における前記１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する命令を含み、前記較正ユーザーインターフェースオブジェクトを表示することが、
前記較正ユーザーインターフェースオブジェクトを表示している間に、前記１つ以上の姿勢センサを介して、前記物理的環境における前記１つ以上のカメラの姿勢の変化を検出すること、及び
前記物理的環境における前記１つ以上のカメラの姿勢の変化を検出したことに応答して、前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整すること、を含み、前記１つ以上のプログラムが、更に、
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記ディスプレイ上を移動する前記較正ユーザーインターフェースオブジェクトを表示している間に、前記較正基準が満たされたことを検出し、
前記較正基準が満たされたことを検出したことに応答して、前記較正ユーザーインターフェースオブジェクトを表示することを停止する命令を含む、コンピュータシステム。
【請求項１２４】
１つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント、１つ以上の入力デバイス、１つ以上のカメラ、及び１つ以上の姿勢センサを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、
物理的環境の拡張現実ビューを前記１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に表示する要求を受信させ、
前記物理的環境の前記拡張現実ビューを表示する前記要求を受信したことに応答して、前記１つ以上のカメラの前記視野の前記表現を表示させ、較正基準が前記物理的環境の前記拡張現実ビューについて満たされていないとの判定にしたがって、前記物理的環境における前記１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示させ、前記較正ユーザーインターフェースオブジェクトを表示することが、
前記較正ユーザーインターフェースオブジェクトを表示している間に、前記１つ以上の姿勢センサを介して、前記物理的環境における前記１つ以上のカメラの姿勢の変化を検出すること、及び
前記物理的環境における前記１つ以上のカメラの姿勢の変化を検出したことに応答して、前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整すること、を含み、前記命令が、前記コンピュータシステムに、更に、
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記ディスプレイ上を移動する前記較正ユーザーインターフェースオブジェクトを表示している間に、前記較正基準が満たされたことを検出させ、
前記較正基準が満たされたことを検出したことに応答して、前記較正ユーザーインターフェースオブジェクトを表示することを停止させる、コンピュータ可読記憶媒体。
【請求項１２５】
表示生成コンポーネントと、
１つ以上の入力デバイスと、
１つ以上のカメラと、
１つ以上の姿勢センサと、
物理的環境の拡張現実ビューを前記１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に表示する要求を受信する手段と、
前記物理的環境の前記拡張現実ビューを表示する前記要求を受信したことに応答して、前記１つ以上のカメラの前記視野の前記表現を表示し、較正基準が前記物理的環境の前記拡張現実ビューについて満たされていないとの判定にしたがって、前記物理的環境における前記１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示するように使用可能になる手段と、を備える、コンピュータシステムであって、前記較正ユーザーインターフェースオブジェクトを表示することが、
前記較正ユーザーインターフェースオブジェクトを表示している間に、前記１つ以上の姿勢センサを介して、前記物理的環境における前記１つ以上のカメラの姿勢の変化を検出すること、及び
前記物理的環境における前記１つ以上のカメラの姿勢の変化を検出したことに応答して、前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整すること、を含み、前記コンピュータシステムが、更に、
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記ディスプレイ上を移動する前記較正ユーザーインターフェースオブジェクトを表示している間に、前記較正基準が満たされたことを検出するように使用可能になる手段と、
前記較正基準が満たされたことを検出したことに応答して、前記較正ユーザーインターフェースオブジェクトを表示することを停止するように使用可能になる手段と、を備える、コンピュータシステム。
【請求項１２６】
表示生成コンポーネント、１つ以上の入力デバイス、１つ以上のカメラ、及び１つ以上の姿勢センサを備えるコンピュータシステムで使用される情報処理装置であって、
物理的環境の拡張現実ビューを前記１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に表示する要求を受信する手段と、
前記物理的環境の前記拡張現実ビューを表示する前記要求を受信したことに応答して、前記１つ以上のカメラの前記視野の前記表現を表示し、較正基準が前記物理的環境の前記拡張現実ビューについて満たされていないとの判定にしたがって、前記物理的環境における前記１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示するように使用可能になる手段と、を備える、情報処理装置であって、前記較正ユーザーインターフェースオブジェクトを表示することが、
前記較正ユーザーインターフェースオブジェクトを表示している間に、前記１つ以上の姿勢センサを介して、前記物理的環境における前記１つ以上のカメラの姿勢の変化を検出すること、及び
前記物理的環境における前記１つ以上のカメラの姿勢の変化を検出したことに応答して、前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整すること、を含み、前記情報処理装置が、更に、
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記ディスプレイ上を移動する前記較正ユーザーインターフェースオブジェクトを表示している間に、前記較正基準が満たされたことを検出するように使用可能になる手段と、
前記較正基準が満たされたことを検出したことに応答して、前記較正ユーザーインターフェースオブジェクトを表示することを停止するように使用可能になる手段と、を備える、情報処理装置。
【請求項１２７】
表示生成コンポーネントと、
１つ以上の入力デバイスと、
１つ以上のカメラと、
１つ以上の姿勢センサと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１０８から１２２に記載の方法のいずれかを実行する命令を含む、コンピュータシステム。
【請求項１２８】
１つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント、１つ以上の入力デバイス、１つ以上のカメラ、及び１つ以上の姿勢センサを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、請求項１０８から１２２に記載の方法のいずれかを実行させる、コンピュータ可読記憶媒体。
【請求項１２９】
表示生成コンポーネント、１つ以上の入力デバイス、１つ以上のカメラ、１つ以上の姿勢センサ、メモリ、及び前記メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサを備えたコンピュータシステムのグラフィカルユーザーインターフェースであって、請求項１０８から１２２に記載の方法のいずれかにしたがって表示されるユーザーインターフェースを含む、グラフィカルユーザーインターフェース。
【請求項１３０】
表示生成コンポーネントと、
１つ以上の入力デバイスと、
１つ以上のカメラと、
１つ以上の姿勢センサと、
請求項１０８から１２２に記載の方法のいずれかを実行する手段と、を備える、コンピュータシステム。
【請求項１３１】
表示生成コンポーネント、１つ以上の入力デバイス、１つ以上のカメラ、及び１つ以上の姿勢センサを備えたコンピュータシステムで使用される情報処理装置であって、
請求項１０８から１２２に記載の方法のいずれかを実行する手段を備える、情報処理装置。
【請求項１３２】
表示生成コンポーネントと、タッチ感知面を含む１つ以上の入力デバイスとを有するデバイスにおいて、
第１のユーザーインターフェース領域に仮想三次元オブジェクトの第１の視点の表現を前記表示生成コンポーネントにより表示することと、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想三次元オブジェクトの前記第１の視点の前記表現を表示している間に、前記仮想三次元オブジェクトの前記第１の視認不能である前記仮想三次元オブジェクトの一部分を表示するために表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出することと、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記第１の入力の大きさに基づいて決定された、前記第１の軸に対する閾値回転量を上回るだけの前記仮想三次元オブジェクトの回転を制限する移動に対する限界により制約された量だけ前記第１の軸に対して前記仮想三次元オブジェクトを回転させることと、
前記第１の入力が、前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応するとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量だけ前記第２の軸に対して前記仮想三次元オブジェクトを回転させることと、を含み、それぞれの閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させる、方法。
【請求項１３３】
前記第１の入力を検出したことに応答して、
前記第１の入力が、第１の方向にタッチ感知面にわたる接触の第１の移動を含み、前記第１の方向の前記接触の前記第１の移動が、前記仮想オブジェクトの前記表現を前記第１の軸に対して回転させる第１の基準を満足するとの判定にしたがって、前記第１の入力が前記三次元オブジェクトを前記第１の軸の周りで回転させる要求に対応していると判定することであり、前記第１の基準が、前記第１の入力が前記第１の方向の第１の閾値移動量を超える移動を含むという、満たされるための要件を含む、ことと、
前記第１の入力が、第２の方向に前記タッチ感知面にわたる前記接触の第２の移動を含み、前記第２の方向の前記接触の前記第２の移動が、前記仮想オブジェクトの前記表現を前記第２の軸に対して回転させる第２の基準を満足するとの判定にしたがって、前記第１の入力が前記三次元オブジェクトを前記第２の軸の周りで回転させる要求に対応していると判定することであり、前記第２の基準が、前記第１の入力が前記第２の方向の第２の閾値移動量を超える移動を含むという、満たされるための要件を含む、ことと、を含み、前記第１の閾値が、前記第２の閾値より大きい、請求項１３２に記載の方法。
【請求項１３４】
前記第１の軸に対する前記仮想三次元オブジェクトの回転が、前記第１の入力の第１の入力パラメータの特性値と、前記第１の軸の周りで前記仮想三次元オブジェクトに適用される回転の量との間の第１の対応度で発生し、
前記第２の軸に対する前記仮想三次元オブジェクトの回転が、前記第２の入力ジェスチャの前記第１の入力パラメータの前記特性値と、前記第２の軸の周りで仮想三次元オブジェクトに適用される回転の量との間の第２の対応度で発生し、
前記第１の対応度は、第２の対応度よりも、前記第１の入力パラメータに対する前記仮想三次元オブジェクトの回転が小さい、請求項１３２又は１３３に記載の方法。
【請求項１３５】
前記第１の入力の終わりを検出することと、
前記第１の入力の前記終わりを検出した後で、前記入力の前記終わりを検出する前の前記第１の入力の大きさに基づいて前記三次元オブジェクトを回転させ続けることであり、
前記三次元オブジェクトが前記第１の軸に対して回転しているとの判定にしたがって、前記第１の軸に対する前記オブジェクトの前記回転を、前記第１の軸に対する前記三次元オブジェクトの前記回転の大きさに比例する第１の量だけ減速させること、及び
前記三次元オブジェクトが前記第２の軸に対して回転しているとの判定にしたがって、前記第２の軸に対する前記オブジェクトの前記回転を、前記第２の軸に対する前記三次元オブジェクトの前記回転の大きさに比例する第２の量だけ減速させること、を含み、前記第２の量が、前記第１の量とは異なる、ことと、を含む、請求項１３２から１３４のいずれか一項に記載の方法。
【請求項１３６】
前記第１の入力の終わりを検出することと、
前記第１の入力の前記終わりを検出した後で、
前記三次元オブジェクトが前記第１の軸に対してそれぞれの回転閾値を超えて回転したとの判定にしたがって、前記第１の軸に対する前記三次元オブジェクトの前記回転の少なくとも一部分を逆転させることと、
前記三次元オブジェクトが前記第１の軸に対してそれぞれの回転閾値を超えて回転していないとの判定にしたがって、前記第１の軸に対する前記三次元オブジェクトの前記回転を逆転させることを見合わせることと、を含む、請求項１３２から１３５のいずれか一項に記載の方法。
【請求項１３７】
前記第１の入力が、前記第１の軸及び前記第２の軸と異なる第３の軸の周りで前記三次元オブジェクトを回転させる要求に対応しているとの判定にしたがって、前記第３の軸に対して前記仮想三次元オブジェクトを回転させることを見合わせることを含む、請求項１３２から１３４のいずれか一項に記載の方法。
【請求項１３８】
前記第１のユーザーインターフェース領域内に前記仮想三次元オブジェクトの前記第１の視点の前記表現を表示している間に、前記仮想三次元オブジェクトによって投影される影の表現を表示することと、
前記第１の軸及び／又は前記第２の軸に対する前記仮想三次元オブジェクトの前記回転にしたがって、前記影の前記表現の形状を変化させることと、を含む、請求項１３２から１３７のいずれか一項に記載の方法。
【請求項１３９】
前記第１のユーザーインターフェース領域内で前記仮想三次元オブジェクトを回転させている間に、
前記仮想三次元オブジェクトが、前記仮想三次元オブジェクトの所定の底部を明示する第２の視点で表示されているとの判定にしたがって、前記仮想三次元オブジェクトの前記第２の視点の前記表現で前記影の前記表現を表示することを見合わせることを含む、請求項１３８に記載の方法。
【請求項１４０】
前記第１のユーザーインターフェース領域内で前記仮想三次元オブジェクトを回転させた後で、前記第１のユーザーインターフェース領域内で前記仮想三次元オブジェクトをリセットする要求に対応する第２の入力を検出することと、
前記第２の入力を検出したことに応答して、前記第１のユーザーインターフェース領域内に前記仮想三次元オブジェクトの所定の元の視点の表現を表示することと、を含む、請求項１３２から１３９のいずれか一項に記載の方法。
【請求項１４１】
前記第１のユーザーインターフェース領域内に前記仮想三次元オブジェクトを表示している間に、前記仮想三次元オブジェクトをサイズ変更する要求に対応する第３の入力を検出することと、
前記第３の入力を検出したことに応答して、前記入力の大きさにしたがって、前記第１のユーザーインターフェース領域内で前記仮想三次元オブジェクトの前記表現のサイズを調整することと、を含む、請求項１３２から１４０のいずれか一項に記載の方法。
【請求項１４２】
前記第１のユーザーインターフェース領域内で前記仮想三次元オブジェクトの前記表現のサイズを調整している間に、前記仮想三次元オブジェクトのサイズが前記仮想三次元オブジェクトの所定のデフォルト表示サイズに達したことを検出することと、
前記仮想三次元オブジェクトのサイズが前記仮想三次元オブジェクトの前記所定のデフォルト表示サイズに達したことを検出したことに応答して、前記仮想三次元オブジェクトが前記所定のデフォルト表示サイズで表示されていることを示す触知出力を生成することと、を含む、請求項１４１に記載の方法。
【請求項１４３】
前記デバイスが、１つ以上のカメラを含み、前記方法が、
前記第１のユーザーインターフェース領域内に前記仮想三次元オブジェクトの第３の視点の表現を表示している間に、前記仮想三次元オブジェクトを１つ以上のカメラの視野を含む第２のユーザーインターフェース領域内に前記仮想三次元オブジェクトを表示する要求に対応する第４の入力を検出することと、
前記第４の入力を検出したことに応答して、前記表示生成コンポーネントを介して、前記第２のユーザーインターフェース領域に含まれる前記１つ以上のカメラの前記視野の少なくとも一部分の上に前記仮想オブジェクトの表現を表示することと、を含み、前記１つ以上のカメラの前記視野が、前記１つ以上のカメラが位置している物理的環境のビューであり、前記仮想オブジェクトの前記表現を表示することが、
前記第１の軸の周りで所定の角度まで前記仮想三次元オブジェクトを回転させることと、
前記第２の軸に対する前記仮想三次元オブジェクトの現在角度を維持することと、を含む、請求項１３２から１４２のいずれか一項に記載の方法。
【請求項１４４】
前記第１のユーザーインターフェース領域内に前記仮想三次元オブジェクトの第４の視点の表現を表示している間に、前記仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースに戻る要求に対応する第５の入力を検出することと、
前記第５の入力を検出したことに応答して、
前記仮想三次元オブジェクトを回転させて、前記仮想三次元オブジェクトの前記二次元表現に対応する前記仮想三次元オブジェクトの視点を示すことと、
前記仮想三次元オブジェクトが前記仮想三次元オブジェクトの前記二次元表現に対応するそれぞれの視点を示すように回転した後で、前記仮想三次元オブジェクトの前記二次元表現を表示することと、を含む、請求項１３２から１４３のいずれか一項に記載の方法。
【請求項１４５】
前記仮想三次元オブジェクトの前記第１の視点の前記表現を表示する前に、それぞれの視点からの前記仮想三次元オブジェクトのビューの表現を含む前記仮想三次元オブジェクトの表現を含むユーザーインターフェースを表示することと、
前記仮想三次元オブジェクトの前記表現を表示している間に、前記仮想三次元オブジェクトを表示する要求を検出することと、
前記仮想三次元オブジェクトを表示する前記要求を検出したことに応答して、前記仮想三次元オブジェクトの前記表現の表示を、前記仮想三次元オブジェクトの前記表現の前記それぞれの視点に一致するように回転した前記仮想三次元オブジェクトで置き換えることと、を含む、請求項１３２から１４４のいずれか一項に記載の方法。
【請求項１４６】
前記第１のユーザーインターフェース領域を表示する前に、前記仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースを表示することと、
前記仮想三次元オブジェクトの前記二次元表現を含む前記二次元ユーザーインターフェースを表示している間に、前記仮想三次元オブジェクトの前記二次元表現に対応した前記タッチ感知面上の場所でプレビュー基準を満たすタッチ入力の第１の部分を検出することと、
前記プレビュー基準を満たす前記タッチ入力の前記第１の部分を検出したことに応答して、前記仮想三次元オブジェクトの前記二次元表現より大きい前記仮想三次元オブジェクトのプレビューを表示することと、を含む、請求項１３２から１４５のいずれか一項に記載の方法。
【請求項１４７】
前記仮想三次元オブジェクトの前記プレビューを表示している間に、前記タッチ入力の第２の部分を検出することと、
前記タッチ入力の前記第２の部分を検出したことに応答して、
前記タッチ入力の前記第２の部分がメニュー表示基準を満足するとの判定にしたがって、前記仮想オブジェクトに関連する複数の動作に対応する複数の選択可能なオプションを表示することと、
前記タッチ入力の前記第２の部分がステージング基準を満足するとの判定にしたがって、前記仮想三次元オブジェクトの前記二次元表現を含む前記二次元ユーザーインターフェースの表示を、前記仮想三次元オブジェクトを含む前記第１のユーザーインターフェースで置き換えることと、を含む、請求項１４６に記載の方法。
【請求項１４８】
前記第１のユーザーインターフェースが、複数の制御要素を含み、前記方法が、
前記第１のユーザーインターフェースを表示する前に、前記仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースを表示することと、
前記第１のユーザーインターフェースに前記仮想三次元オブジェクトを表示する要求を検出したことに応答して、
前記仮想三次元オブジェクトに関連する１つ以上の制御要素のセットを表示することなく、前記第１のユーザーインターフェースに前記仮想三次元オブジェクトを表示することと、
前記第１のユーザーインターフェースに前記仮想三次元オブジェクトを表示した後で、前記１つ以上の制御要素のセットを表示することと、を含む、請求項１３２から１４７のいずれか一項に記載の方法。
【請求項１４９】
表示生成コンポーネントと、
タッチ感知面を含む１つ以上の入力デバイスと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備えるコンピュータシステムであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
前記表示生成コンポーネントによって、仮想三次元オブジェクトの第１の視点の表現を第１のユーザーインターフェース領域に表示し、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想三次元オブジェクトの前記第１の視点の前記表現を表示している間に、前記仮想三次元オブジェクトの前記第１の視点から視認不能である前記仮想三次元オブジェクトの一部分を表示するために表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出し、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記仮想三次元オブジェクトを、前記第１の軸に対して、前記第１の入力の大きさに基づいて決定され、かつ前記第１の軸に対する閾値回転量を超える量の前記仮想三次元オブジェクトの回転を制約する移動に課される限界によって制約された量だけ、回転させ、
前記第１の入力が、前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応しているとの判定にしたがって、前記仮想三次元オブジェクトを前記第２の軸に対して前記第１の入力の大きさに基づいて決定された量だけ回転させる命令を含み、それぞれの閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させる、コンピュータシステム。
【請求項１５０】
１つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令は、表示生成コンポーネントとタッチ感知面を含む１つ以上の入力デバイスとを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、
前記表示生成コンポーネントによって、仮想三次元オブジェクトの第１の視点の表現を第１のユーザーインターフェース領域に表示させ、
前記仮想オブジェクトの前記第１の視点の前記表現を前記ディスプレイ上の前記第１のユーザーインターフェース領域に表示している間に、前記仮想三次元オブジェクトの前記第１の視点から視認不能である前記仮想三次元オブジェクトの一部分を表示するために表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出させ、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記仮想三次元オブジェクトを、前記第１の軸に対して、前記第１の入力の大きさに基づいて決定され、かつ前記第１の軸に対する閾値回転量を超える量の前記仮想三次元オブジェクトの回転を制約する前記移動に課される限界によって制約された量だけ、回転させ、
前記第１の入力が、前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応しているとの判定にしたがって、前記仮想三次元オブジェクトを前記第２の軸に対して前記第１の入力の大きさに基づいて決定された量だけ回転させ、それぞれの閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させる、コンピュータ可読記憶媒体。
【請求項１５１】
表示生成コンポーネントと、
タッチ感知面を含む１つ以上の入力デバイスと、
前記表示生成コンポーネントによって、仮想三次元オブジェクトの第１の視点の表現を第１のユーザーインターフェース領域に表示する手段と、
前記仮想三次元オブジェクトの前記第１の視点の前記表現を前記ディスプレイ上の前記第１のユーザーインターフェース領域に表示している間に、前記仮想三次元オブジェクトの前記第１の視点から視認不能である前記仮想三次元オブジェクトの一部分を表示するために表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出するように使用可能になる手段と、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記仮想三次元オブジェクトを、前記第１の軸に対して、前記第１の入力の大きさに基づいて決定され、かつ前記第１の軸に対する閾値回転量を超える量の前記仮想三次元オブジェクトの回転を制約する前記移動に課される限界によって制約された量だけ、回転させ、
前記第１の入力が前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応しているとの判定にしたがって、前記仮想三次元オブジェクトを前記第２の軸に対して前記第１の入力の大きさに基づいて決定された量だけ回転させるように使用可能になる手段と、を備え、それぞれの閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させる、コンピュータシステム。
【請求項１５２】
表示生成コンポーネントとタッチ感知面を含む１つ以上の入力デバイスとを備えたコンピュータシステムで使用される情報処理装置であって、
前記表示生成コンポーネントによって、仮想三次元オブジェクトの第１の視点の表現を第１のユーザーインターフェース領域に表示する手段と、
前記仮想オブジェクトの前記第１の視点の前記表現を前記ディスプレイ上の前記第１のユーザーインターフェース領域に表示している間に、前記仮想三次元オブジェクトの前記第１の視点から視認不能である前記仮想三次元オブジェクトの一部分を表示するために表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出するように使用可能になる手段と、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記仮想三次元オブジェクトを、前記第１の軸に対して、前記第１の入力の大きさに基づいて決定され、かつ前記第１の軸に対する閾値回転量を超える量の前記仮想三次元オブジェクトの回転を制約する前記移動に課される限界によって制約された量だけ、回転させ、
前記第１の入力が、前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応しているとの判定にしたがって、前記仮想三次元オブジェクトを前記第２の軸に対して前記第１の入力の大きさに基づいて決定された量だけ回転させるように使用可能になる手段と、を備え、それぞれの閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させる、情報処理装置。
【請求項１５３】
表示生成コンポーネントと、
タッチ感知面を含む１つ以上の入力デバイスと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１３２から１４８に記載の方法のいずれかを実行する命令を含む、コンピュータシステム。
【請求項１５４】
１つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネントとタッチ感知面を含む１つ以上の入力デバイスとを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、請求項１３２から１４８に記載の方法のいずれかを実行させる、コンピュータ可読記憶媒体。
【請求項１５５】
表示生成コンポーネントと、タッチ感知面を含む１つ以上の入力デバイスと、メモリと、前記メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサとを備えたコンピュータシステムのグラフィカルユーザーインターフェースであって、請求項１３２から１４８に記載の方法のいずれかにしたがって表示されるユーザーインターフェースを含む、グラフィカルユーザーインターフェース。
【請求項１５６】
表示生成コンポーネントと、
タッチ感知面を含む１つ以上の入力デバイスと、
請求項１３２から１４８に記載の方法のいずれかを実行する手段と、を備える、コンピュータシステム。
【請求項１５７】
表示生成コンポーネントと、タッチ感知面を含む１つ以上の入力デバイスと、１つ以上のカメラとを備えたコンピュータシステムで使用される情報処理装置であって、
請求項１３２から１４８に記載の方法のいずれかを実行する手段を備える、情報処理装置。
【請求項１５８】
表示生成コンポーネント及びタッチ感知面を有するデバイスにおいて、
前記表示生成コンポーネントを介して、第１のジェスチャ認識基準を満たす入力に応答して実施される第１のオブジェクト操作挙動、及び第２のジェスチャ認識基準を満たす入力に応答して実施される第２のオブジェクト操作挙動を含む複数のオブジェクト操作挙動と関連付けられたユーザーインターフェースオブジェクトを含む第１のユーザーインターフェース領域を表示することと、
前記第１のユーザーインターフェース領域を表示する間に、前記タッチ感知面にわたる１つ以上の接触の移動を検出することを含めて、前記ユーザーインターフェースオブジェクトに向けられた入力の第１の部分を検出し、前記タッチ感知面わたって前記１つ以上の接触が検出されている間に、前記第１のジェスチャ認識基準と前記第２のジェスチャ認識基準の両方に関して前記１つ以上の接触の移動を評価することと、
前記入力の前記第１の部分を検出したことに応答して、前記入力の前記第１の部分に基づいて前記ユーザーインターフェースオブジェクトの外観を更新することであり、
前記入力の前記第１の部分が前記第２のジェスチャ認識基準を満たす前に前記第１のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第２のジェスチャ認識基準の閾値を増大させることによって前記第２のジェスチャ認識基準を更新すること、を含み、
前記入力が前記第１のジェスチャ認識基準を満たす前に前記第２のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第１のジェスチャ認識基準の閾値を増大させることによって前記第１のジェスチャ認識基準を更新すること、を含む、ことと、を含む方法。
【請求項１５９】
前記入力の前記第１の部分に基づいて前記ユーザーインターフェースオブジェクトの前記外観を更新した後で、前記入力の第２の部分を検出することと、
前記入力の前記第２の部分を検出したことに応答して、前記入力の前記第２の部分に基づいて前記ユーザーインターフェースオブジェクトの前記外観を更新することであり、
前記入力の前記第１の部分が前記第１のジェスチャ認識基準を満たすが、前記入力の前記第２の部分が前記更新された第２のジェスチャ認識基準を満たしていないとの判定にしたがって、前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させることなく、前記入力の前記第２の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記入力の前記第１の部分が前記第２のジェスチャ認識基準を満たすが、前記入力の前記第２の部分が前記更新された第１のジェスチャ認識基準を満たしていないとの判定にしたがって、前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させることなく、前記入力の前記第２の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、を含む、ことと、を含む、請求項１５８に記載の方法。
【請求項１６０】
前記入力の前記第１の部分が前記第１のジェスチャ認識基準を満たした後で、前記ユーザーインターフェースオブジェクトの前記外観が前記入力の前記第２の部分に基づいて前記第１のオブジェクト操作挙動にしたがって変化している間に、前記入力の前記第２の部分が、前記第２のジェスチャ認識基準が更新される前に前記第２のジェスチャ認識基準を満たす入力を含む、請求項１５９に記載の方法。
【請求項１６１】
前記入力の前記第１の部分が前記第２のジェスチャ認識基準を満たした後で、前記ユーザーインターフェースオブジェクトの前記外観が前記入力の前記第２の部分に基づいて前記第２のオブジェクト操作挙動にしたがって変化している間に、前記入力の前記第２の部分が、前記第１のジェスチャ認識基準が更新される前に前記第１のジェスチャ認識基準を満たす入力を含む、請求項１５９又は１６０に記載の方法。
【請求項１６２】
前記入力の前記第１の部分が前記第１のジェスチャ認識基準を満たした後で、前記ユーザーインターフェースオブジェクトの前記外観が前記入力の前記第２の部分に基づいて前記第１のオブジェクト操作挙動にしたがって変化している間に、前記入力の前記第２の部分が、前記第１のジェスチャ認識基準を満たす入力を含まない、請求項１５９に記載の方法。
【請求項１６３】
前記入力の前記第１の部分が前記第２のジェスチャ認識基準を満たした後で、前記ユーザーインターフェースオブジェクトの前記外観が前記入力の前記第２の部分に基づいて前記第２のオブジェクト操作挙動にしたがって変化している間に、前記入力の前記第２の部分が、前記第２のジェスチャ認識基準を満たす入力を含まない、請求項１５９又は１６２に記載の方法。
【請求項１６４】
前記入力の前記第２の部分に基づいて前記ユーザーインターフェースオブジェクトの前記外観を更新することが、
前記入力の前記第１の部分が、前記第２のジェスチャ認識基準を満たし、前記入力の前記第２の部分が、前記更新された第１のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第２の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させることと、
前記入力の前記第２の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させることと、を含み、
前記入力の前記第１の部分が前記第１のジェスチャ認識基準を満たし、前記入力の前記第２の部分が前記更新された第２のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第２の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させることと、
前記入力の前記第２の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させることと、を含む、請求項１５９に記載の方法。
【請求項１６５】
前記入力の前記第２の部分に基づいて前記ユーザーインターフェースオブジェクトの前記外観を更新した後で、前記入力の第３の部分を検出することと、
前記入力の前記第３の部分を検出したことに応答して、前記入力の第３の部分に基づいて前記ユーザーインターフェースオブジェクトの前記外観を更新することであり、
前記入力の前記第３の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記入力の前記第３の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、を含むことと、を含む、請求項１６４に記載の方法。
【請求項１６６】
前記入力の前記第３の部分が、前記第１のジェスチャ認識基準を満たす入力、又は前記第２のジェスチャ認識基準を満たす入力を含まない、請求項１６５に記載の方法。
【請求項１６７】
前記複数のオブジェクト操作挙動が、第３のジェスチャ認識基準を満たす入力に応答して実施される第３のオブジェクト操作挙動を含み、
前記入力の前記第１の部分に基づいて前記ユーザーインターフェースオブジェクトの前記外観を更新することが、
前記入力の前記第１の部分が前記第２のジェスチャ認識基準を満たす、又は前記第３のジェスチャ認識基準を満たす前に、前記第１のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、
前記第２のジェスチャ認識基準の閾値を増大させることによって前記第２のジェスチャ認識基準を更新すること、及び
前記第３のジェスチャ認識基準の閾値を増大させることによって前記第３のジェスチャ認識基準を更新することと、
前記入力が前記第１のジェスチャ認識基準を満たす、又は前記第３のジェスチャ認識基準を満たす前に、前記第２のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、
前記第１のジェスチャ認識基準の閾値を増大させることによって前記第１のジェスチャ認識基準を更新すること、及び
前記第３のジェスチャ認識基準の閾値を増大させることによって前記第３のジェスチャ認識基準を更新することと、
前記入力が前記第１のジェスチャ認識基準を満たす、又は前記第２のジェスチャ認識基準を満たす前に、前記第３のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第３のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、
前記第１のジェスチャ認識基準の閾値を増大させることによって前記第１のジェスチャ認識基準を更新すること、及び
前記第２のジェスチャ認識基準の閾値を増大させることによって前記第２のジェスチャ認識基準を更新することと、を含む、請求項１６４から１６６のいずれか一項に記載の方法。
【請求項１６８】
前記複数のオブジェクト操作挙動が、第３のジェスチャ認識基準を満たす入力に応答して実施される第３のオブジェクト操作挙動を含み、
前記入力の前記第１の部分が、前記第１のジェスチャ認識基準又は前記第２のジェスチャ認識基準を満たす前に前記第３のジェスチャ認識基準を満たさず、
前記入力の前記第１の部分が前記第１のジェスチャ認識基準又は前記第２のジェスチャ認識基準を満たした後で、前記デバイスが、前記第３のジェスチャ認識基準の閾値を増大させることによって前記第３のジェスチャ認識基準を更新し、
前記入力の前記第２の部分が、前記更新された第１のジェスチャ認識基準又は前記更新された第２のジェスチャ認識基準を満たす前に、前記更新された第３のジェスチャ認識基準を満たさず、
前記方法が、
前記入力の前記第３の部分を検出したことに応答して、
前記入力の前記第３の部分が前記更新された第３のジェスチャ認識基準を満足するとの判定にしたがって、前記入力の前記第３の部分に基づいて前記第３のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させることと、
前記入力の前記第３の部分が前記更新された第３のジェスチャ認識基準を満たしていないとの判定にしたがって、前記入力の前記第３の部分に基づいて前記第３のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させることを見合わせることと、を含む、請求項１６４から１６６のいずれか一項に記載の方法。
【請求項１６９】
前記入力の前記第３の部分が前記更新された第３のジェスチャ認識基準を満たし、前記方法が、
前記入力の前記第３の部分に基づいて前記ユーザーインターフェースオブジェクトの前記外観を更新した後で、前記入力の第４の部分を検出することと、
前記入力の前記第４の部分を検出したことに応答して、前記入力の第４の部分に基づいて前記ユーザーインターフェースオブジェクトの前記外観を更新することであり、
前記入力の前記第４の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、
前記入力の前記第４の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記入力の前記第４の部分に基づいて前記第３のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、を含むことと、を含む、請求項１６４から１６８のいずれか一項に記載の方法。
【請求項１７０】
前記入力の前記第４の部分が、
前記第１のジェスチャ認識基準を満たす入力、
前記第２のジェスチャ認識基準を満たす入力、又は
前記第３のジェスチャ認識基準を満たす入力、を含まない、請求項１６９に記載の方法。
【請求項１７１】
前記第１のジェスチャ認識基準及び前記第２のジェスチャ認識基準が、両方とも、満たされるために、第１の数の同時に検出される接触を必要とする、請求項１５８から１７０のいずれか一項に記載の方法。
【請求項１７２】
前記第１のオブジェクト操作挙動が、前記ユーザーインターフェースオブジェクトのズームレベル又は表示サイズを変化させ、前記第２のオブジェクト操作挙動が、前記ユーザーインターフェースオブジェクトの回転角を変化させる、請求項１５８から１７１のいずれか一項に記載の方法。
【請求項１７３】
前記第１のオブジェクト操作挙動が、前記ユーザーインターフェースオブジェクトのズームレベル又は表示サイズを変化させ、前記第２のオブジェクト操作挙動が、前記第１のユーザーインターフェース領域内の前記ユーザーインターフェースオブジェクトの位置を変化させる、請求項１５８から１７１のいずれか一項に記載の方法。
【請求項１７４】
前記第１のオブジェクト操作挙動が、前記第１のユーザーインターフェース領域内の前記ユーザーインターフェースオブジェクトの位置を変化させ、前記第２のオブジェクト操作挙動が、前記ユーザーインターフェースオブジェクトの回転角を変化させる、請求項１５８から１７１のいずれか一項に記載の方法。
【請求項１７５】
前記入力の前記第１の部分及び前記入力の前記第２の部分が、複数の継続的に維持される接触によって提供され、前記方法が、
前記複数の継続的に維持される接触のリフトオフを検出した後で、前記第１のジェスチャ認識基準及び前記第２のジェスチャ認識基準を再確立して、追加の第１及び第２のオブジェクト操作挙動を開始することを含む、請求項１５８から１７４のいずれか一項に記載の方法。
【請求項１７６】
前記第１のジェスチャ認識基準が、第１の軸の周りの回転に対応し、前記第２のジェスチャ認識基準が、前記第１の軸に対して直交する第２の軸の周りの回転に対応する、請求項１５８から１７５のいずれか一項に記載の方法。
【請求項１７７】
表示生成コンポーネントと、
タッチ感知面と、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
前記表示生成コンポーネントを介して、第１のジェスチャ認識基準を満たす入力に応答して実施される第１のオブジェクト操作挙動、及び第２のジェスチャ認識基準を満たす入力に応答して実施される第２のオブジェクト操作挙動を含む複数のオブジェクト操作挙動と関連付けられたユーザーインターフェースオブジェクトを含む第１のユーザーインターフェース領域を表示し、
前記第１のユーザーインターフェース領域を表示する間に、前記タッチ感知面にわたる１つ以上の接触の移動を検出することを含めて、前記ユーザーインターフェースオブジェクトに向けられた入力の第１の部分を検出し、前記タッチ感知面にわたって前記１つ以上の接触が検出されている間に、前記第１のジェスチャ認識基準と前記第２のジェスチャ認識基準の両方に関して前記１つ以上の接触の移動を評価し、
前記入力の前記第１の部分を検出したことに応答して、前記入力の前記第１の部分に基づいて前記ユーザーインターフェースオブジェクトの外観を更新する、命令を含み、前記ユーザーインターフェースオブジェクトの外観を更新することが、
前記入力の前記第１の部分が前記第２のジェスチャ認識基準を満たす前に前記第１のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第２のジェスチャ認識基準の閾値を増大させることによって前記第２のジェスチャ認識基準を更新すること、を含み、
前記入力が前記第１のジェスチャ認識基準を満たす前に前記第２のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第１のジェスチャ認識基準の閾値を増大させることによって前記第１のジェスチャ認識基準を更新すること、を含む、コンピュータシステム。
【請求項１７８】
１つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント及びタッチ感知面を備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、
前記表示生成コンポーネントを介して、第１のジェスチャ認識基準を満たす入力に応答して実施される第１のオブジェクト操作挙動、及び第２のジェスチャ認識基準を満たす入力に応答して実施される第２のオブジェクト操作挙動を含む複数のオブジェクト操作挙動と関連付けられたユーザーインターフェースオブジェクトを含む第１のユーザーインターフェース領域を表示させ、
前記第１のユーザーインターフェース領域を表示する間に、前記タッチ感知面にわたる１つ以上の接触の移動を検出することを含めて、前記ユーザーインターフェースオブジェクトに向けられた入力の第１の部分を検出させ、前記タッチ感知面にわたって前記１つ以上の接触が検出されている間に、前記第１のジェスチャ認識基準と前記第２のジェスチャ認識基準の両方に関して前記１つ以上の接触の移動を評価させ、
前記入力の前記第１の部分を検出したことに応答して、前記入力の前記第１の部分に基づいて前記ユーザーインターフェースオブジェクトの外観を更新させ、前記ユーザーインターフェースオブジェクトの外観を更新することが、
前記入力の前記第１の部分が前記第２のジェスチャ認識基準を満たす前に前記第１のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第２のジェスチャ認識基準の閾値を増大させることによって前記第２のジェスチャ認識基準を更新すること、を含み、
前記入力が前記第１のジェスチャ認識基準を満たす前に前記第２のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第１のジェスチャ認識基準の閾値を増大させることによって前記第１のジェスチャ認識基準を更新すること、を含む、コンピュータ可読記憶媒体。
【請求項１７９】
表示生成コンポーネントと、
タッチ感知面と、
前記表示生成コンポーネントを介して、第１のジェスチャ認識基準を満たす入力に応答して実施される第１のオブジェクト操作挙動、及び第２のジェスチャ認識基準を満たす入力に応答して実施される第２のオブジェクト操作挙動を含む複数のオブジェクト操作挙動と関連付けられたユーザーインターフェースオブジェクトを含む第１のユーザーインターフェース領域を表示する手段と、
前記第１のユーザーインターフェース領域を表示する間に、前記タッチ感知面にわたる１つ以上の接触の移動を検出することを含めて、前記ユーザーインターフェースオブジェクトに向けられた入力の第１の部分を検出し、前記タッチ感知面にわたって前記１つ以上の接触が検出されている間に、前記第１のジェスチャ認識基準と前記第２のジェスチャ認識基準の両方に関して前記１つ以上の接触の移動を評価するように使用可能になる手段と、
前記入力の前記第１の部分を検出したことに応答して、前記入力の前記第１の部分に基づいて前記ユーザーインターフェースオブジェクトの外観を更新するように使用可能になる手段であり、前記ユーザーインターフェースオブジェクトの外観を更新することが、
前記入力の前記第１の部分が前記第２のジェスチャ認識基準を満たす前に前記第１のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第２のジェスチャ認識基準の閾値を増大させることによって前記第２のジェスチャ認識基準を更新すること、を含み、
前記入力が前記第１のジェスチャ認識基準を満たす前に前記第２のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第１のジェスチャ認識基準の閾値を増大させることによって前記第１のジェスチャ認識基準を更新すること、を含む、手段と、を備える、コンピュータシステム。
【請求項１８０】
表示生成コンポーネント及びタッチ感知面を備えたコンピュータシステムで使用される情報処理装置であって、
前記表示生成コンポーネントを介して、第１のジェスチャ認識基準を満たす入力に応答して実施される第１のオブジェクト操作挙動、及び第２のジェスチャ認識基準を満たす入力に応答して実施される第２のオブジェクト操作挙動を含む複数のオブジェクト操作挙動と関連付けられたユーザーインターフェースオブジェクトを含む第１のユーザーインターフェース領域を表示する手段と、
前記第１のユーザーインターフェース領域を表示する間に、前記タッチ感知面にわたる１つ以上の接触の移動を検出することを含めて、前記ユーザーインターフェースオブジェクトに向けられた入力の第１の部分を検出し、前記タッチ感知面にわたって前記１つ以上の接触が検出されている間に、前記第１のジェスチャ認識基準と前記第２のジェスチャ認識基準の両方に関して前記１つ以上の接触の移動を評価するように使用可能になる手段と、
前記入力の前記第１の部分を検出したことに応答して、前記入力の前記第１の部分に基づいて前記ユーザーインターフェースオブジェクトの外観を更新するように使用可能になる手段であり、前記ユーザーインターフェースオブジェクトの外観を更新することが、
前記入力の前記第１の部分が前記第２のジェスチャ認識基準を満たす前に前記第１のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第２のジェスチャ認識基準の閾値を増大させることによって前記第２のジェスチャ認識基準を更新すること、を含み、
前記入力が前記第１のジェスチャ認識基準を満たす前に前記第２のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第１のジェスチャ認識基準の閾値を増大させることによって前記第１のジェスチャ認識基準を更新すること、を含む、手段と、を備える、情報処理装置。
【請求項１８１】
表示生成コンポーネントと、
タッチ感知面と、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１５８から１７６に記載の方法のいずれかを実行する命令を含む、コンピュータシステム。
【請求項１８２】
１つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント及びタッチ感知面を備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、請求項１５８から１７６に記載の方法のいずれかを実行させる、コンピュータ可読記憶媒体。
【請求項１８３】
表示生成コンポーネント、１つ以上の入力デバイス、１つ以上のカメラ、メモリ、及び前記メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサを備えたコンピュータシステムのグラフィカルユーザーインターフェースであって、請求項１５８から１７６に記載の方法のいずれかにしたがって表示されるユーザーインターフェースを含む、グラフィカルユーザーインターフェース。
【請求項１８４】
表示生成コンポーネントと、
タッチ感知面と、
請求項１５８から１７６に記載の方法のいずれかを実行する手段と、を備える、コンピュータシステム。
【請求項１８５】
表示生成コンポーネント及びタッチ感知面を備えたコンピュータシステムで使用される情報処理装置であって、
請求項１５８から１７６に記載の方法のいずれかを実行する手段を備える、情報処理装置。
【請求項１８６】
表示生成コンポーネント、１つ以上の入力デバイス、１つ以上の音声出力生成器、及び１つ以上のカメラを有するデバイスにおいて、
前記表示生成コンポーネントを介して、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示することであり、前記仮想オブジェクトの前記表現と、前記１つ以上のカメラの前記視野内でキャプチャされた物理的環境内で検出されたプレーンとの間の第１の空間的関係を維持することを含む、ことと、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出することと、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出したことに応答して、
前記１つ以上のカメラの前記視野が調整されるにつれて、前記仮想オブジェクトと前記１つ以上のカメラの前記視野内で検出される前記プレーンとの間の前記第１の空間的関係にしたがって、前記第１のユーザーインターフェース領域内の前記仮想オブジェクトの前記表現の表示を調整することと、
前記デバイスの前記移動が前記仮想オブジェクトの閾値量より大きな量を前記１つ以上のカメラの前記視野の表示部分の外部に移動させるとの判定にしたがって、前記１つ以上の音声出力生成器を介して、第１の音声警報を生成することと、を含む方法。
【請求項１８７】
前記第１の音声警報を出力することが、前記１つ以上のカメラの前記視野の前記表示部分で依然として見えているままである前記仮想オブジェクトの量を示す音声出力を生成することを含む、請求項１８６に記載の方法。
【請求項１８８】
前記第１の音声警報を出力することが、前記仮想オブジェクトによって隠されている前記視野の前記表示部分の量を示す音声出力を生成することを含む、請求項１８６又は１８７に記載の方法。
【請求項１８９】
前記１つ以上のカメラの前記視野の前記表現に対応した前記タッチ感知面上の場所で接触による入力を検出することと、
前記入力を検出したことに応答して、前記入力が前記仮想オブジェクトによって隠されていない前記１つ以上のカメラの前記視野の第１の部分に対応する前記タッチ感知面上の第１の場所で検出されたとの判定にしたがって、第２の音声警報を生成することと、を含む、請求項１８６から１８８のいずれか一項に記載の方法。
【請求項１９０】
前記第１の音声警報を出力することが、前記仮想オブジェクトに関して実行される動作、及び前記動作の実行後にもたらされる前記仮想オブジェクトの状態を示す音声出力を生成することを含む、請求項１８６から１８９のいずれか一項に記載の方法。
【請求項１９１】
前記動作の実行後にもたらされる前記仮想オブジェクトの状態が、前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境に対応する参照フレームに関連して前記第１の音声警報中の前記音声出力中に記述される、請求項１９０に記載の方法。
【請求項１９２】
前記第１の音声警報の生成後に、前記１つ以上のカメラの前記視野を更に調整する前記デバイスの追加の移動を検出することと、
前記１つ以上のカメラの前記視野を更に調整する前記デバイスの前記追加の移動を検出したことに応答して、
前記１つ以上のカメラの前記視野が更に調整されるにつれて、前記仮想オブジェクトと前記１つ以上のカメラの前記視野内で検出された前記プレーンとの間の前記第１の空間的関係にしたがって、前記第１のユーザーインターフェース領域内の前記仮想オブジェクトの前記表現の表示を調整することと、
前記デバイスの前記追加の移動が、前記仮想オブジェクトの第２の閾値量より大きな量を、前記１つ以上のカメラの前記視野の前記表示部分中に移動させるとの判定にしたがって、前記１つ以上の音声出力生成器を介して、第３の音声警報を生成することと、を含む、請求項１８６から１９１のいずれか一項に記載の方法。
【請求項１９３】
前記第１のユーザーインターフェース領域内に前記仮想オブジェクトの前記表現を表示しており、前記仮想オブジェクトに適用可能な複数のオブジェクト操作タイプのうちの第１のオブジェクト操作タイプが前記仮想オブジェクトについて現在選択されている間に、前記仮想オブジェクトに適用可能な別のオブジェクト操作タイプにスイッチングする要求を検出することと、
前記仮想オブジェクトに適用可能な別のオブジェクト操作タイプにスイッチングする前記要求を検出したことに応答して、前記仮想オブジェクトに適用可能な複数のオブジェクト操作タイプのうちの第２のオブジェクト操作タイプを指定する音声出力を生成することと、を含み、前記第２のオブジェクト操作タイプが、前記第１のオブジェクト操作タイプとは異なる、請求項１８６から１９２のいずれか一項に記載の方法。
【請求項１９４】
前記仮想オブジェクトに適用可能な前記複数のオブジェクト操作タイプのうちの前記第２のオブジェクト操作タイプを指定する前記音声出力を生成した後で、現在選択されているオブジェクト操作タイプに対応するオブジェクト操作挙動を実行する要求を検出することと、
前記現在選択されているオブジェクト操作タイプに対応する前記オブジェクト操作挙動を実行する前記要求を検出したことに応答して、前記第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行することと、を含む、請求項１９３に記載の方法。
【請求項１９５】
前記仮想オブジェクトに適用可能な別のオブジェクト操作タイプにスイッチングする前記要求を検出したことに応答して、
前記第２のオブジェクト操作タイプが連続的に調整可能な操作タイプであるとの判定にしたがって、前記第２のオブジェクト操作タイプを指定する前記音声出力に関連して音声警報を生成して、前記第２のオブジェクト操作タイプが連続的に調整可能な操作タイプであることを示すことと、
前記第２のオブジェクト操作タイプに対応する前記オブジェクト操作挙動を実行する要求を検出することであり、前記１つ以上のカメラの前記視野の前記表現を表示する前記第１のユーザーインターフェース領域の一部分に対応する前記タッチ感知面上の場所でスワイプ入力を検出することを含む、ことと、
前記第２のオブジェクト操作タイプに対応する前記オブジェクト操作挙動を実行する前記要求を検出したことに応答して、前記スワイプ入力の大きさに対応する量だけ、前記第２のオブジェクト操作タイプに対応する前記オブジェクト操作挙動を実行することと、を含む、請求項１９３から１９４のいずれか一項に記載の方法。
【請求項１９６】
前記第１のユーザーインターフェース領域内に前記仮想オブジェクトの前記表現を表示する前に、前記仮想オブジェクトの前記表現を第２のユーザーインターフェース領域に表示することであり、前記第２のユーザーインターフェース領域が、１つ以上のカメラの前記視野の表現を含まない、ことと、
前記第２のユーザーインターフェース領域内に前記仮想オブジェクトの前記表現を表示しており、前記仮想オブジェクトに適用可能な複数の動作のうちの第１の動作が、前記仮想オブジェクトについて現在選択されている間に、前記仮想オブジェクトに適用可能な別の動作にスイッチングする要求を検出することと、
前記第２のユーザーインターフェース領域で前記仮想オブジェクトに適用可能な別の動作にスイッチングする前記要求を検出したことに応答して、前記仮想オブジェクトに適用可能な前記複数の動作のうちの第２の動作を指定する音声出力を生成することと、を含み、前記第２の動作が、前記第１の動作とは異なる、請求項１８６から１９５のいずれか一項に記載の方法。
【請求項１９７】
前記第１のユーザーインターフェース領域内に前記仮想オブジェクトの前記表現を表示する前に、前記１つ以上のカメラの前記視野の表現を含まない第２のユーザーインターフェース領域内に前記仮想オブジェクトの前記表現を表示している間に、前記１つ以上のカメラの前記視野の表現を含む前記第１のユーザーインターフェース領域内に前記仮想オブジェクトの表現を表示する要求を検出することと、
前記１つ以上のカメラの前記視野の表現を含む前記第１のユーザーインターフェース領域内に前記仮想オブジェクトの表現を表示する前記要求を検出したことに応答して、
前記仮想オブジェクトの表現と前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境内で検出された前記プレーンとの間の前記第１の空間的関係にしたがって前記第１のユーザーインターフェース領域内に前記仮想オブジェクトの前記表現を表示することと、
前記仮想オブジェクトが、前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境に関連して前記拡張現実ビュー内に配置されていることを示す第４の音声警報を生成することと、を含む、請求項１８６から１９６のいずれか一項に記載の方法。
【請求項１９８】
前記第３の音声警報が、前記１つ以上のカメラの前記視野の前記部分に関する前記仮想オブジェクトの外観についての情報を示す、請求項１９７に記載の方法。
【請求項１９９】
前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境に関連した前記拡張現実ビュー内の前記仮想オブジェクトの配置に関連して触知出力を生成することを含む、請求項１９８に記載の方法。
【請求項２００】
前記１つ以上のカメラの前記視野の表現と同時に、前記第１のユーザーインターフェース領域内の第１の場所に第１の制御要素を表示することと、
制御フェイディング基準が満足されたとの判定にしたがって、前記第１のユーザーインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現の表示を維持する一方で、前記第１のユーザーインターフェース領域内に前記第１の制御要素を表示することを停止することと、
前記第１のユーザーインターフェース領域内に前記第１の制御要素を表示することなく前記第１のユーザーインターフェース領域を表示している間に、前記第１のユーザーインターフェース領域内の前記第１の場所に対応する前記タッチ感知面上のそれぞれの場所でタッチ入力を検出することと、
前記タッチ入力を検出したことに応答して、前記第１の制御要素に対応する動作を指定する音声出力を含む第５の音声警報を生成することと、を含む、請求項１８６から１９８のいずれか一項に記載の方法。
【請求項２０１】
表示生成コンポーネントと、
１つ以上の入力デバイスと、
１つ以上の音声出力生成器と、
１つ以上のカメラと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
前記表示生成コンポーネントを介して、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示する命令を含み、前記表示することが、前記仮想オブジェクトの前記表現と、前記１つ以上のカメラの前記視野内でキャプチャされた物理的環境内で検出されたプレーンとの間の第１の空間的関係を維持することを含み、前記１つ以上のプログラムが、更に、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出し、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出したことに応答して、
前記１つ以上のカメラの前記視野が調整されるにつれて、前記仮想オブジェクトと前記１つ以上のカメラの前記視野内で検出される前記プレーンとの間の前記第１の空間的関係にしたがって、前記第１のユーザーインターフェース領域内の前記仮想オブジェクトの前記表現の表示を調整し、
前記デバイスの前記移動が前記仮想オブジェクトの閾値量より大きな量を前記１つ以上のカメラの前記視野の表示部分の外部に移動させるとの判定にしたがって、前記１つ以上の音声出力生成器を介して、第１の音声警報を生成する、命令を含む、コンピュータシステム。
【請求項２０２】
１つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント、１つ以上の入力デバイス、１つ以上の音声出力生成器、及び１つ以上のカメラを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、
前記表示生成コンポーネントを介して、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示させ、前記表示することが、前記仮想オブジェクトの前記表現と、前記１つ以上のカメラの前記視野内でキャプチャされた物理的環境内で検出されたプレーンとの間の第１の空間的関係を維持することを含み、前記命令が、前記コンピュータシステムに、更に、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出させ、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出したことに応答して、
前記１つ以上のカメラの前記視野が調整されるにつれて、前記仮想オブジェクトと前記１つ以上のカメラの前記視野内で検出される前記プレーンとの間の前記第１の空間的関係にしたがって、前記第１のユーザーインターフェース領域内の前記仮想オブジェクトの前記表現の前記表示を調整させ、
前記デバイスの前記移動が前記仮想オブジェクトの閾値量より大きな量を前記１つ以上のカメラの前記視野の表示部分の外部に移動させるとの判定にしたがって、前記１つ以上の音声出力生成器を介して、第１の音声警報を生成させる、コンピュータ可読記憶媒体。
【請求項２０３】
表示生成コンポーネントと、
１つ以上の入力デバイスと、
１つ以上の音声出力生成器と、
１つ以上のカメラと、
前記表示生成コンポーネントを介して、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示する手段であり、前記表示することが、前記仮想オブジェクトの前記表現と、前記１つ以上のカメラの前記視野内でキャプチャされた物理的環境内で検出されたプレーンとの間の第１の空間的関係を維持することを含む、手段と、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出する手段と、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出したことに応答して、
前記１つ以上のカメラの前記視野が調整されるにつれて、前記仮想オブジェクトと前記１つ以上のカメラの前記視野内で検出される前記プレーンとの間の前記第１の空間的関係にしたがって、前記第１のユーザーインターフェース領域内の前記仮想オブジェクトの前記表現の表示を調整し、
前記デバイスの前記移動が前記仮想オブジェクトの閾値量より大きな量を前記１つ以上のカメラの前記視野の表示部分の外部に移動させるとの判定にしたがって、前記１つ以上の音声出力生成器を介して、第１の音声警報を生成するように使用可能になる手段と、を備える、コンピュータシステム。
【請求項２０４】
表示生成コンポーネント、１つ以上の入力デバイス、１つ以上の音声出力生成器、及び１つ以上のカメラを備えたコンピュータシステムで使用される情報処理装置であって、
前記表示生成コンポーネントを介して、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示する手段であり、前記表示することが、前記仮想オブジェクトの前記表現と、前記１つ以上のカメラの前記視野内でキャプチャされた物理的環境内で検出されたプレーンとの間の第１の空間的関係を維持することを含む、手段と、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出する手段と、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出したことに応答して、
前記１つ以上のカメラの前記視野が調整されるにつれて、前記仮想オブジェクトと前記１つ以上のカメラの前記視野内で検出される前記プレーンとの間の前記第１の空間的関係にしたがって、前記第１のユーザーインターフェース領域内の前記仮想オブジェクトの前記表現の表示を調整し、
前記デバイスの前記移動が前記仮想オブジェクトの閾値量より大きな量を前記１つ以上のカメラの前記視野の表示部分の外部に移動させるとの判定にしたがって、前記１つ以上の音声出力生成器を介して、第１の音声警報を生成するように使用可能になる手段と、を備える、情報処理装置。
【請求項２０５】
表示生成コンポーネントと、
１つ以上の入力デバイスと、
１つ以上のカメラと、
１つ以上の音声出力生成器と、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１８６から２００に記載の方法のいずれかを実行する命令を含む、コンピュータシステム。
【請求項２０６】
１つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント、１つ以上の入力デバイス、１つ以上の音声出力生成器、及び１つ以上のカメラを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、請求項１８６から２００に記載の方法のいずれかを実行させる、コンピュータ可読記憶媒体。
【請求項２０７】
表示生成コンポーネント、１つ以上の入力デバイス、１つ以上の音声出力生成器、１つ以上のカメラ、メモリ、及び前記メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサを備えたコンピュータシステムのグラフィカルユーザーインターフェースであって、請求項１８６から２００に記載の方法のいずれかにしたがって表示されるユーザーインターフェースを含む、グラフィカルユーザーインターフェース。
【請求項２０８】
表示生成コンポーネントと、
１つ以上の入力デバイスと、
１つ以上の音声出力生成器と、
１つ以上のカメラと、
請求項１８６から２００に記載の方法のいずれかを実行する手段と、を備える、コンピュータシステム。
【請求項２０９】
表示生成コンポーネント、１つ以上の入力デバイス、１つ以上の音声出力生成器、及び１つ以上のカメラを備えたコンピュータシステムで使用される情報処理装置であって、
請求項１８６から２００に記載の方法のいずれかを実行する手段を備える、情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願］
本願は、参照によりその全体を本明細書に組み込む、２０１８年１月２４日出願の米国仮許出願第６２／６２１５２９号に関する。
【０００２】
［技術分野］
本発明は、一般に、限定されるわけではないが様々な状況で仮想オブジェクトを表示する電子デバイスなど、仮想オブジェクトを表示する電子デバイスに関する。
【背景技術】
【０００３】
拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界を置換又は強化する少なくともいくつかの仮想要素を含む。仮想／拡張現実環境と対話するには、コンピュータシステム及び他の電子コンピューティングデバイスのタッチ感知面などの入力デバイスを使用する。例示的なタッチ感知面としては、タッチパッド、タッチ感知遠隔制御装置、及びタッチスクリーンディスプレイが挙げられる。これらの表面を使用して、ディスプレイ上で、ユーザーインターフェース及びその中のオブジェクトを操作する。例示的なユーザーインターフェースオブジェクトは、デジタル画像、ビデオ、テキスト、アイコン、並びにボタン及びその他のグラフィックなどの制御要素を含む。
【０００４】
しかし、少なくともいくつかの仮想要素を含む環境（例えばアプリケーション、拡張現実環境、混合現実環境、及び仮想現実環境）と対話する方法及びインターフェースは、煩雑で、非効率で、限定されたものである。例えば、拡張現実環境で仮想オブジェクトを向き及び位置決めするために一連の入力を使用すると、時間がかかり、かなりの認知上の負担がユーザーにかかり、仮想／拡張現実環境のエクスペリエンスが損なわれる。更に、これらの方法は、必要以上に時間がかかり、それによりエネルギーを浪費する。後者の問題は、バッテリ動作デバイスにおいては特に重要である。
【発明の概要】
【０００５】
したがって、仮想オブジェクトと対話するための改善された方法及びインターフェースを備えたコンピュータシステムが必要とされている。このような方法及びインターフェースは、任意選択的に、仮想オブジェクトと対話するための従来の方法を補完する、又はこれらに取って代わるものである。このような方法及びインターフェースは、ユーザーからの入力の数、範囲、及び／又は種類を減少させ、より効率的な人間機械インターフェースを生成する。バッテリ動作デバイスでは、このような方法及びインターフェースにより、電力が節約され、バッテリの充電間の時間が長くなる。
【０００６】
仮想オブジェクトと対話するためのインターフェース（例えば、拡張現実（ＡＲ）のためのユーザーインターフェース及び関連する非ＡＲインターフェース）に関連する上記の不具合及びその他の問題は、開示するコンピュータシステムによって軽減又は解消される。いくつかの実施形態では、コンピュータシステムは、デスクトップコンピュータを含む。いくつかの実施形態では、コンピュータシステムは、ポータブルである（例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである）。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス（例えば腕時計などのウェアラブル電子デバイス）を含む。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する（かつ／又はこれと通信している）。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ（「タッチスクリーン」又は「タッチスクリーンディスプレイ」とも呼ばれる）を有する（かつ／又はこれと通信している）。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザーインターフェース（ＧＵＩ）、１つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された１つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザーは、部分的には、タッチ感知面におけるスタイラス及び／又は指による接触及びジェスチャを通してＧＵＩと対話する。いくつかの実施形態では、機能は、任意選択的に、ゲームプレイ、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシート作成、電話、ビデオ会議、電子メール、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽再生、メモ取り、及び／又はデジタルビデオ再生を含む。これらの機能を実行するための実行可能命令は、任意選択的に、非一時的コンピュータ可読記憶媒体、又は１つ以上のプロセッサによって実行されるように構成されたその他のコンピュータプログラム製品に含まれる。
【０００７】
いくつかの実施形態によれば、方法は、ディスプレイ、タッチ感知面、及び１つ以上のカメラを有するコンピュータシステムで実行される。この方法は、ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示することを含む。この方法は、また、ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示している間に、ディスプレイ上における仮想オブジェクトの表現に対応したタッチ感知面上の場所で接触による第１の入力を検出することを含む。この方法は、また、接触による第１の入力を検出したことに応答して、接触による第１の入力が第１の基準を満足するとの判定にしたがって、第１のユーザーインターフェース領域の少なくとも一部分の表示を１つ以上のカメラの視野の表現で置き換えることを含む、ディスプレイに第２のユーザーインターフェース領域を表示することと、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に、仮想オブジェクトの表現を連続的に表示することと、を含む。
【０００８】
いくつかの実施形態によれば、方法は、ディスプレイ、タッチ感知面、及び１つ以上のカメラを有するコンピュータシステムで実行される。この方法は、ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示することを含む。この方法は、また、ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示している間に、ディスプレイ上の仮想オブジェクトの第１の表現に対応するタッチ感知面上の場所で第１の接触による第１の入力を検出することを含む。この方法は、また、第１の接触による第１の入力を検出したことに応答して、第１の接触による第１の入力が第１の基準を満足するとの判定にしたがって、第１のユーザーインターフェース領域とは異なる第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示することを含む。この方法は、また、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示している間に、第２の入力を検出することと、第２の入力を検出したことに応答して、第２の入力が第２のユーザーインターフェース領域内で仮想オブジェクトを操作する要求に対応しているとの判定にしたがって、第２の入力に基づいて第２のユーザーインターフェース領域内で仮想オブジェクトの第２の表現の表示特性を変化させることと、第２の入力が拡張現実環境内に仮想オブジェクトを表示する要求に対応しているとの判定にしたがって、１つ以上のカメラの視野の表現とともに仮想オブジェクトの第３の表現を表示することと、を含む。
【０００９】
いくつかの実施形態によれば、方法は、ディスプレイ及びタッチ感知面を有するコンピュータシステムで実行される。この方法は、第１のユーザーインターフェースを表示する要求に応答して、第１のアイテムの表現とともに第１のユーザーインターフェースを表示することを含む。この方法は、また、第１のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、第１のアイテムが第１のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに第１のアイテムの表現を表示することを含む。この方法は、また、第１のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、視覚的な指示なしで第１のアイテムの表現を表示することを含む。この方法は、また、第１のアイテムの表現を表示した後で、第２のアイテムを含む第２のユーザーインターフェースを表示する要求を受信することを含む。この方法は、また、第２のユーザーインターフェースを表示する要求に応答して、第２のアイテムの表現とともに第２のユーザーインターフェースを表示することを含む。この方法は、また、第２のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、第２のアイテムが第２のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに第２のアイテムの表現を表示することを含む。この方法は、また、第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、視覚的な指示なしで第２のアイテムの表現を表示することを含む。
【００１０】
いくつかの実施形態によれば、方法は、表示生成コンポーネント、１つ以上の入力デバイス、及び１つ以上のカメラを有するコンピュータシステムで実行される。この方法は、１つ以上のカメラの視野の少なくとも一部分を含む第１のユーザーインターフェース領域に仮想オブジェクトを表示する要求を受信することを含む。この方法は、また、仮想オブジェクトを第１のユーザーインターフェース領域に表示する要求に応答して、表示生成コンポーネントを介して第１のユーザーインターフェース領域に含まれる１つ以上のカメラの視野の少なくとも一部分の上に仮想オブジェクトの表現を表示することを含み、ここで、１つ以上のカメラの視野は、１つ以上のカメラが位置している物理的環境のビューである。仮想オブジェクトの表現を表示することは、オブジェクト配置基準が満足されていないとの判定にしたがって、仮想オブジェクトの表現を、第１の１組の視覚特性で、かつ物理的環境のうちのどの部分が１つ以上のカメラの視野内に表示されているかとは無関係の第１の向きで、表示することであり、オブジェクト配置基準が、満たされるためには、仮想オブジェクトの配置場所が１つ以上のカメラの視野内で特定されることを必要とする、こと、及びオブジェクト配置基準が満足されたとの判定にしたがって、仮想オブジェクトの表現を、第１の１組の視覚特性とは別個の第２の１組の視覚特性で、かつ１つ以上のカメラの視野内で検出された物理的環境内のプレーンに対応する第２の向きで、表示すること、を含む。
【００１１】
いくつかの実施形態によれば、方法は、表示生成コンポーネント、１つ以上の入力デバイス、１つ以上のカメラ、及び１つ以上のカメラを含むデバイスの姿勢の変化を検出する１つ以上の姿勢センサを有するコンピュータシステムで実行される。この方法は、物理的環境の拡張現実ビューを１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に表示する要求を受信することを含む。この方法は、また、物理的環境の拡張現実ビューを表示する要求を受信したことに応答して、１つ以上のカメラの視野の表現を表示することと、物理的環境の拡張現実ビューについて較正基準が満足されていないとの判定にしたがって、物理的環境における１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示することと、を含み、較正ユーザーインターフェースオブジェクトを表示することは、較正ユーザーインターフェースオブジェクトを表示している間に、１つ以上の姿勢センサを介して、物理的環境における１つ以上のカメラの姿勢の変化を検出することと、物理的環境における１つ以上のカメラの姿勢の変化を検出したことに応答して、物理的環境における１つ以上のカメラの姿勢の検出した変化にしたがって較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整することと、を含む。この方法は、また、物理的環境における１つ以上のカメラの姿勢の検出した変化にしたがってディスプレイ上を移動する較正ユーザーインターフェースオブジェクトを表示している間に、較正基準が満たされたことを検出することを含む。この方法は、また、較正基準が満たされたことを検出したことに応答して、較正ユーザーインターフェースオブジェクトを表示することを停止することを含む。
【００１２】
いくつかの実施形態によれば、表示生成コンポーネントと、タッチ感知面を含む１つ以上の入力デバイスとを有するコンピュータシステムで実行される。この方法は、表示生成コンポーネントによって、仮想三次元オブジェクトの第１の視点の表現を第１のユーザーインターフェース領域に表示することを含む。この方法は、また、仮想三次元オブジェクトの第１の視点の表現をディスプレイ上の第１のユーザーインターフェース領域に表示している間に、仮想三次元オブジェクトの第１の視点から視認不能である仮想三次元オブジェクトの部分を表示するために表示に対して仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出することを含む。この方法は、また、第１の入力を検出したことに応答して、第１の入力が三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、仮想三次元オブジェクトを、第１の軸に対して、第１の入力の大きさに基づいて決定され、かつ第１の軸に対する閾値回転量を超える量の仮想三次元オブジェクトの回転を制約する移動に課される限界によって制約された量だけ、回転させることと、第１の入力が、第１の軸とは異なる第２の軸の周りで三次元オブジェクトを回転させる要求に対応しているとの判定にしたがって、仮想三次元オブジェクトを第２の軸に対して第１の入力の大きさに基づいて決定された量だけ回転させることと、を含み、それぞれの閾値を超える大きさを有する入力について、デバイスは、仮想三次元オブジェクトを第２の軸に対して閾値回転量を超える量だけ回転させる。
【００１３】
いくつかの実施形態によれば、方法は、表示生成コンポーネント及びタッチ感知面を有するコンピュータシステムで実行される。この方法は、表示生成コンポーネントを介して、第１のジェスチャ認識基準を満たす入力に応答して実施される第１のオブジェクト操作挙動、及び第２のジェスチャ認識基準を満たす入力に応答して実行される第２のオブジェクト操作挙動を含む複数のオブジェクト操作挙動と関連付けられたユーザーインターフェースオブジェクトを含む第１のユーザーインターフェース領域を表示することを含む。この方法は、また、第１のユーザーインターフェース領域を表示する間に、タッチ感知面にわたる１つ以上の接触の移動を検出することを含む、ユーザーインターフェースオブジェクトに向けられた入力の第１の部分を検出することと、タッチ感知面において１つ以上の接触が検出されている間に、第１のジェスチャ認識基準と第２のジェスチャ認識基準の両方に関して１つ以上の接触の移動を評価することと、を含む。この方法は、また、入力の第１の部分を検出したことに応答して、入力の第１の部分に基づいてユーザーインターフェースオブジェクトの外観を更新することであり、入力の第１の部分が第２のジェスチャ認識基準を満たす前に第１のジェスチャ認識基準を満足するとの判定にしたがって、入力の第１の部分に基づいて第１のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変化させること、及び第２のジェスチャ認識基準の閾値を増大させることによって第２のジェスチャ認識基準を更新することと、入力が第１のジェスチャ認識基準を満たす前に第２のジェスチャ認識基準を満足するとの判定にしたがって、入力の第１の部分に基づいて第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変化させること、及び第１のジェスチャ認識基準の閾値を増大させることによって第１のジェスチャ認識基準を更新すること、を含む、ことを含む。
【００１４】
いくつかの実施形態によれば、方法は、表示生成コンポーネント、１つ以上の入力デバイス、１つ以上の音声出力生成器、及び１つ以上のカメラを有するコンピュータシステムで実行される。この方法は、表示生成コンポーネントを介して、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示することを含み、この表示することは、仮想オブジェクトの表現と、１つ以上のカメラの視野内でキャプチャされた物理的環境内で検出されたプレーンとの間の第１の空間的関係を維持することを含む。この方法は、また、１つ以上のカメラの視野を調整するデバイスの移動を検出することを含む。この方法は、また、１つ以上のカメラの視野を調整するデバイスの移動を検出したことに応答して、１つ以上のカメラの視野が調整されるにつれて、仮想オブジェクトと１つ以上のカメラの視野内で検出されるプレーンとの間の第１の空間的関係にしたがって、第１のユーザーインターフェース領域内の仮想オブジェクトの表現の表示を調整することと、デバイスの移動が仮想オブジェクトの閾値量より大きな量を１つ以上のカメラの視野の表示部分の外部に移動させるとの判定にしたがって、１つ以上の音声出力生成器を介して、第１の音声警報を生成することと、を含む。
【００１５】
いくつかの実施形態によれば、電子デバイスは、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な姿勢の変化を検出する１つ以上の姿勢センサと、１つ以上のプロセッサと、１つ以上のプログラムを記憶したメモリとを含み、１つ以上のプログラムは、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、本明細書に記載する方法のうちのいずれかの動作を実行する、又はその実行を引き起こす命令を含む。いくつかの実施形態によれば、コンピュータ可読記憶媒体は、命令を記憶しており、これらの命令は、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な１つ以上の姿勢センサとを備えた電子デバイスによって実行されたときに、このデバイスに、本明細書に記載する方法のうちのいずれかの動作を実行させる、又はその実行を引き起こさせる。いくつかの実施形態によれば、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な１つ以上の姿勢センサと、メモリと、メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサとを備えた電子デバイスのグラフィカルユーザーインターフェースは、本明細書に記載する方法のうちのいずれかに記載するように、入力に応答して更新される本明細書に記載する方法のいずれかで表示される要素のうちの１つ以上を含む。いくつかの実施形態によれば、電子デバイスは、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な姿勢の変化を検出する１つ以上の姿勢センサと、本明細書に記載する方法のうちのいずれかの動作を実行する、又はその実行を引き起こす手段とを含む。いくつかの実施形態によれば、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な姿勢の変化を検出する１つ以上の姿勢センサとを備えた電子デバイスで使用される情報処理装置は、本明細書に記載する方法のうちのいずれかの動作を実行する、又はその実行を引き起こす手段を含む。
【００１６】
したがって、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な１つ以上の姿勢センサとを備えた電子デバイスに、様々なコンテキストで仮想オブジェクトを表示するための改善された方法及びインターフェースが与えられ、これにより、これらのデバイスの有効性、効率、及びユーザー満足度が向上する。これらの方法及びインターフェースは、様々なコンテキストで仮想オブジェクトを表示する従来の方法を補完する、又はそれらに取って代わることができる。
【図面の簡単な説明】
【００１７】
記載する様々な実施形態をより良好に理解するためには、以下で、全ての図面を通じて対応する部品を同じ参照番号で示す以下の図面と関連付けて、発明を実施するための形態を参照されたい。
【００１８】
【図１Ａ】いくつかの実施形態による、タッチ感知ディスプレイを備えたポータブル多機能デバイスを示すブロック図である。
【００１９】
【図１Ｂ】いくつかの実施形態による、イベントハンドリングのための例示的なコンポーネントを示すブロック図である。
【００２０】
【図１Ｃ】いくつかの実施形態による、触知出力モジュールを示すブロック図である。
【００２１】
【図２】いくつかの実施形態による、タッチスクリーンを有するポータブル多機能デバイスを示す図である。
【００２２】
【図３】いくつかの実施形態による、ディスプレイ及びタッチ感知面を備えた例示的な多機能デバイスを示すブロック図である。
【００２３】
【図４Ａ】いくつかの実施形態による、ポータブル多機能デバイス上のアプリケーションのメニューの例示的なユーザーインターフェースを示す図である。
【００２４】
【図４Ｂ】いくつかの実施形態による、ディスプレイと分離したタッチ感知面を備えた多機能デバイスの例示的なユーザーインターフェースを示す図である。
【００２５】
【図４Ｃ】いくつかの実施形態による、動的強度閾値の例を示す図である。
【図４Ｄ】いくつかの実施形態による、動的強度閾値の例を示す図である。
【図４Ｅ】いくつかの実施形態による、動的強度閾値の例を示す図である。
【００２６】
【図４Ｆ】いくつかの実施形態にしたがって、サンプル触知出力パターンのセットを示す図である。
【図４Ｇ】いくつかの実施形態にしたがって、サンプル触知出力パターンのセットを示す図である。
【図４Ｈ】いくつかの実施形態にしたがって、サンプル触知出力パターンのセットを示す図である。
【図４Ｉ】いくつかの実施形態にしたがって、サンプル触知出力パターンのセットを示す図である。
【図４Ｊ】いくつかの実施形態にしたがって、サンプル触知出力パターンのセットを示す図である。
【図４Ｋ】いくつかの実施形態にしたがって、サンプル触知出力パターンのセットを示す図である。
【００２７】
【図５Ａ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｂ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｃ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｄ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｅ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｆ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｇ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｈ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｉ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｊ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｋ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｌ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｍ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｎ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｏ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｐ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｑ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｒ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｓ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｔ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｕ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｖ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｗ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｘ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｙ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５Ｚ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＡ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＢ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＣ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＤ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＥ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＦ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＧ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＨ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＩ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＪ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＫ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＬ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＭ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＮ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＯ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＰ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＱ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＲ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＳ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【図５ＡＴ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示する例示的なユーザーインターフェースを示す図である。
【００２８】
【図６Ａ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｂ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｃ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｄ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｅ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｆ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｇ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｈ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｉ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｊ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｋ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｌ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｍ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｎ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｏ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｐ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｑ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｒ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｓ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｔ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｕ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｖ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｗ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｘ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｙ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６Ｚ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６ＡＡ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６ＡＢ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６ＡＣ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６ＡＤ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６ＡＥ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６ＡＦ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６ＡＧ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６ＡＨ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６ＡＩ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【図６ＡＪ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示する、例示的なユーザーインターフェースを示す図である。
【００２９】
【図７Ａ】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示する例示的なユーザーインターフェースを示す図である。
【図７Ｂ】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示する例示的なユーザーインターフェースを示す図である。
【図７Ｃ】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示する例示的なユーザーインターフェースを示す図である。
【図７Ｄ】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示する例示的なユーザーインターフェースを示す図である。
【図７Ｅ】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示する例示的なユーザーインターフェースを示す図である。
【図７Ｆ１】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示する例示的なユーザーインターフェースを示す図である。
【図７Ｆ２】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示する例示的なユーザーインターフェースを示す図である。
【図７Ｇ１】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示する例示的なユーザーインターフェースを示す図である。
【図７Ｇ２】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示する例示的なユーザーインターフェースを示す図である。
【図７Ｈ】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示する例示的なユーザーインターフェースを示す図である。
【図７Ｉ】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示する例示的なユーザーインターフェースを示す図である。
【図７Ｊ】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示する例示的なユーザーインターフェースを示す図である。
【図７Ｋ】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示する例示的なユーザーインターフェースを示す図である。
【図７Ｌ】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示する例示的なユーザーインターフェースを示す図である。
【図７Ｍ】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示する例示的なユーザーインターフェースを示す図である。
【図７Ｎ】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示する例示的なユーザーインターフェースを示す図である。
【図７Ｏ】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示する例示的なユーザーインターフェースを示す図である。
【図７Ｐ】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示する例示的なユーザーインターフェースを示す図である。
【００３０】
【図８Ａ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示するプロセスを示す流れ図である。
【図８Ｂ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示するプロセスを示す流れ図である。
【図８Ｃ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示するプロセスを示す流れ図である。
【図８Ｄ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示するプロセスを示す流れ図である。
【図８Ｅ】いくつかの実施形態による、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示するプロセスを示す流れ図である。
【００３１】
【図９Ａ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示するプロセスを示す流れ図である。
【図９Ｂ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示するプロセスを示す流れ図である。
【図９Ｃ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示するプロセスを示す流れ図である。
【図９Ｄ】いくつかの実施形態による、仮想オブジェクトの第１の表現を第１のユーザーインターフェース領域に表示し、仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示し、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現とともに表示するプロセスを示す流れ図である。
【００３２】
【図１０Ａ】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示するプロセスを示す流れ図である。
【図１０Ｂ】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示するプロセスを示す流れ図である。
【図１０Ｃ】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示するプロセスを示す流れ図である。
【図１０Ｄ】いくつかの実施形態による、アイテムが仮想三次元オブジェクトに対応していることを示す視覚的な指示とともにアイテムを表示するプロセスを示す流れ図である。
【００３３】
【図１１Ａ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｂ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｃ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｄ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｅ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｆ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｇ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｈ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｉ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｊ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｋ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｌ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｍ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｎ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｏ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｐ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｑ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｒ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｓ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｔ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｕ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【図１１Ｖ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示する例示的なユーザーインターフェースを示す図である。
【００３４】
【図１２Ａ】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する例示的なユーザーインターフェースを示す図である。
【図１２Ｂ】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する例示的なユーザーインターフェースを示す図である。
【図１２Ｃ】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する例示的なユーザーインターフェースを示す図である。
【図１２Ｄ】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する例示的なユーザーインターフェースを示す図である。
【図１２Ｅ−１】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する例示的なユーザーインターフェースを示す図である。
【図１２Ｅ−２】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する例示的なユーザーインターフェースを示す図である。
【図１２Ｆ−１】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する例示的なユーザーインターフェースを示す図である。
【図１２Ｆ−２】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する例示的なユーザーインターフェースを示す図である。
【図１２Ｇ−１】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する例示的なユーザーインターフェースを示す図である。
【図１２Ｇ−２】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する例示的なユーザーインターフェースを示す図である。
【図１２Ｈ−１】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する例示的なユーザーインターフェースを示す図である。
【図１２Ｈ−２】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する例示的なユーザーインターフェースを示す図である。
【図１２Ｉ−１】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する例示的なユーザーインターフェースを示す図である。
【図１２Ｉ−２】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する例示的なユーザーインターフェースを示す図である。
【図１２Ｊ】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する例示的なユーザーインターフェースを示す図である。
【図１２Ｋ−１】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する例示的なユーザーインターフェースを示す図である。
【図１２Ｋ−２】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する例示的なユーザーインターフェースを示す図である。
【図１２Ｌ−１】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する例示的なユーザーインターフェースを示す図である。
【図１２Ｌ−２】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する例示的なユーザーインターフェースを示す図である。
【００３５】
【図１３Ａ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約する例示的なユーザーインターフェースを示す図である。
【図１３Ｂ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約する例示的なユーザーインターフェースを示す図である。
【図１３Ｃ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約する例示的なユーザーインターフェースを示す図である。
【図１３Ｄ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約する例示的なユーザーインターフェースを示す図である。
【図１３Ｅ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約する例示的なユーザーインターフェースを示す図である。
【図１３Ｆ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約する例示的なユーザーインターフェースを示す図である。
【図１３Ｇ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約する例示的なユーザーインターフェースを示す図である。
【図１３Ｈ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約する例示的なユーザーインターフェースを示す図である。
【図１３Ｉ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約する例示的なユーザーインターフェースを示す図である。
【図１３Ｊ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約する例示的なユーザーインターフェースを示す図である。
【図１３Ｋ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約する例示的なユーザーインターフェースを示す図である。
【図１３Ｌ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約する例示的なユーザーインターフェースを示す図である。
【図１３Ｍ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約する例示的なユーザーインターフェースを示す図である。
【００３６】
【図１４Ａ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｂ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｃ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｄ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｅ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｆ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｇ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｈ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｉ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｊ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｋ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｌ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｍ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｎ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｏ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｐ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｑ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｒ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｓ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｔ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｕ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｖ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｗ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｘ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｙ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【図１４Ｚ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる例示的なユーザーインターフェースを示す図である。
【００３７】
【図１４ＡＡ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる動作を説明する流れ図である。
【図１４ＡＢ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる動作を説明する流れ図である。
【図１４ＡＣ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる動作を説明する流れ図である。
【図１４ＡＤ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させる動作を説明する流れ図である。
【００３８】
【図１５Ａ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｂ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｃ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｄ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｅ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｆ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｇ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｈ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｉ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｊ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｋ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｌ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｍ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｎ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｏ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｐ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｑ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｒ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｓ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｔ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｕ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｖ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｗ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｘ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｙ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５Ｚ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５ＡＡ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５ＡＢ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５ＡＣ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５ＡＤ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５ＡＥ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５ＡＦ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５ＡＧ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５ＡＨ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【図１５ＡＩ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成する例示的なユーザーインターフェースを示す図である。
【００３９】
【図１６Ａ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示するプロセスを示す流れ図である。
【図１６Ｂ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示するプロセスを示す流れ図である。
【図１６Ｃ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示するプロセスを示す流れ図である。
【図１６Ｄ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示するプロセスを示す流れ図である。
【図１６Ｅ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示するプロセスを示す流れ図である。
【図１６Ｆ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示するプロセスを示す流れ図である。
【図１６Ｇ】いくつかの実施形態による、オブジェクト配置基準が満たされるかどうかに応じて仮想オブジェクトを異なる視覚特性で表示するプロセスを示す流れ図である。
【００４０】
【図１７Ａ】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示するプロセスを示す流れ図である。
【図１７Ｂ】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示するプロセスを示す流れ図である。
【図１７Ｃ】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示するプロセスを示す流れ図である。
【図１７Ｄ】いくつかの実施形態による、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示するプロセスを示す流れ図である。
【００４１】
【図１８Ａ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約するプロセスを示す流れ図である。
【図１８Ｂ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約するプロセスを示す流れ図である。
【図１８Ｃ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約するプロセスを示す流れ図である。
【図１８Ｄ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約するプロセスを示す流れ図である。
【図１８Ｅ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約するプロセスを示す流れ図である。
【図１８Ｆ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約するプロセスを示す流れ図である。
【図１８Ｇ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約するプロセスを示す流れ図である。
【図１８Ｈ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約するプロセスを示す流れ図である。
【図１８Ｉ】いくつかの実施形態による、軸の周りの仮想オブジェクトの回転を制約するプロセスを示す流れ図である。
【００４２】
【図１９Ａ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させるプロセスを示す流れ図である。
【図１９Ｂ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させるプロセスを示す流れ図である。
【図１９Ｃ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させるプロセスを示す流れ図である。
【図１９Ｄ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させるプロセスを示す流れ図である。
【図１９Ｅ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させるプロセスを示す流れ図である。
【図１９Ｆ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させるプロセスを示す流れ図である。
【図１９Ｇ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させるプロセスを示す流れ図である。
【図１９Ｈ】いくつかの実施形態による、第１の閾値移動大きさが第１のオブジェクト操作挙動について満足されたとの判定にしたがって、第２のオブジェクト操作挙動に必要な第２の閾値移動大きさを増大させるプロセスを示す流れ図である。
【００４３】
【図２０Ａ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成するプロセスを示す流れ図である。
【図２０Ｂ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成するプロセスを示す流れ図である。
【図２０Ｃ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成するプロセスを示す流れ図である。
【図２０Ｄ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成するプロセスを示す流れ図である。
【図２０Ｅ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成するプロセスを示す流れ図である。
【図２０Ｆ】いくつかの実施形態による、デバイスの移動が仮想オブジェクトを１つ以上のデバイスカメラの表示視野の外部に移動させるとの判定にしたがって音声警報を生成するプロセスを示す流れ図である。
【発明を実施するための形態】
【００４４】
仮想オブジェクトは、仮想環境における三次元オブジェクトのグラフィック表現である。仮想オブジェクトと対話して、仮想オブジェクトをアプリケーションユーザーインターフェース（例えば拡張現実環境を表示しない二次元アプリケーションユーザーインターフェース）のコンテキストに表示される状態から、拡張現実環境（例えば物理的世界では入手できない追加情報をユーザーに提供する補足情報によって物理的世界のビューを拡張する環境）のコンテキストに表示される状態に移行させる従来の方法は、複数の別個の入力（例えばジェスチャ及びボタン押圧のシーケンスなど）が所期の結果（例えば拡張現実環境において本物のように、又は望ましいように見えるように仮想オブジェクトのサイズ、場所及び／又は向きを調節するなど）をもたらすことを必要とすることが多い。更に、従来の入力方法は、拡張現実環境を表示することを求める要求を受信してから拡張現実環境を表示するまでに、１つ以上のデバイスカメラを起動して物理的世界のビューをキャプチャするのに必要な時間、並びに／又は拡張現実環境に置かれる可能性がある仮想オブジェクトに関連して物理的世界のビューを分析及び特徴づける（例えば物理的世界のキャプチャされたビュー内でプレーン及び／又は表面を検出する）のに必要な時間による遅延を伴うことが多い。本明細書の実施形態は、様々なコンテキストで仮想オブジェクトを表示し、かつ／又は（例えばアプリケーションユーザーインターフェースのコンテキストで仮想オブジェクトを表示する状態から拡張現実環境で仮想オブジェクトを表示する状態にスイッチングする入力をユーザーが提供できるようにすること、拡張現実環境に仮想オブジェクトを表示する前に（例えば三次元ステージング環境で）仮想オブジェクトの表示特性をユーザーが変更できるようにすること、ユーザーがシステム全体で複数のアプリケーションにわたって仮想オブジェクトを容易に識別できるようにする指示を提供すること、オブジェクトの配置情報を決定しながらオブジェクトの視覚特性を改変すること、較正に必要なデバイスの動きを示すアニメーション化された較正ユーザーインターフェースオブジェクトを提供すること、表示される仮想オブジェクトの軸の周りの回転を制約すること、第１のオブジェクトの操作挙動についての閾値移動大きさが満たされるときに第２のオブジェクトの操作挙動についての閾値移動大きさを増大させること、及び仮想オブジェクトが表示される視野の外に移動したことを示す音声警報を提供することなどによって）これらの仮想オブジェクトと対話する直観的な方法をユーザーに提供する。
【００４５】
本明細書に記載するシステム、方法、及びＧＵＩは、複数の方法で仮想／拡張現実環境とのユーザーインターフェース対話を改善する。例えば、本明細書に記載するシステム、方法、及びＧＵＩは、拡張現実環境に仮想オブジェクトを表示し、様々な入力に応じて、拡張現実環境に表示される仮想オブジェクトの見た目を調整することを容易にする。
【００４６】
以下、図１Ａ〜図１Ｂ、図２、及び図３は、例示的なデバイスの説明を提供する。図４Ａ〜図４Ｂ、図５Ａ〜図５ＡＴ、図６Ａ〜図６ＡＪ、図７Ａ〜図７Ｐ、図１１Ａ〜図１１Ｖ、図１２Ａ〜図１２Ｌ、図１３Ａ〜図１３Ｍ、図１４Ａ〜図１４Ｚ、及び図１５Ａ〜図１５ＡＩは、様々なコンテキストで仮想オブジェクトを表示する例示的なユーザーインターフェースを示す図である。図８Ａ〜図８Ｅは、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示するプロセスを示す図である。図９Ａ〜図９Ｄは、第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示し、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示し、１つ以上のカメラの視野の表現によって仮想オブジェクトの第３の表現を表示するプロセスを示す図である。図１０Ａ〜図１０Ｄは、アイテムが仮想三次元オブジェクトに対応することを示す視覚的な指示とともにアイテムを表示するプロセスを示す図である。図１６Ａ〜図１６Ｇは、オブジェクト配置基準が満たされるかどうかに応じて異なる視覚特性を備えた仮想オブジェクトを表示するプロセスを示す図である。図１７Ａ〜図１７Ｄは、デバイスの１つ以上のカメラの動きにしたがって動的にアニメーション化された較正ユーインオブジェクトを表示するプロセスを示す図である。図１８Ａ〜図１８Ｉは、仮想オブジェクトの軸の周りの回転を制約するプロセスを示す図である。図１４ＡＡ〜図１４ＡＤ及び図１９Ａ〜図１９Ｈは、第１のオブジェクトの操作挙動について第１の閾値移動大きさが満たされるとの判定にしたがって、第２のオブジェクトの操作挙動について必要とされる第２の閾値移動大きさを増大させるプロセスを示す図である。図２０Ａ〜図２０Ｆは、デバイスの動きによって仮想オブジェクトが１つ以上のデバイスカメラの表示される視野の外に移動するとの判定にしたがって、音声警報を生成するプロセスを示す図である。図５Ａ〜図５ＡＴ、図６Ａ〜図６ＡＪ、図７Ａ〜図７Ｐ、図１１Ａ〜図１１Ｖ、図１２Ａ〜図１２Ｌ、図１３Ａ〜図１３Ｍ、図１４Ａ〜図１４Ｚ、及び図１５Ａ〜図１５ＡＩのユーザーインターフェースを使用して、図８Ａ〜図８Ｅ、図９Ａ〜図９Ｄ、図１０Ａ〜図１０Ｄ、図１４ＡＡ〜図１４ＡＤ、図１６Ａ〜図１６Ｇ、図１７Ａ〜図１７Ｄ、図１８Ａ〜図１８Ｉ、図１９Ａ〜図１９Ｈ、及び図２０Ａ〜図２０Ｆのプロセスを説明する。
例示的なデバイス
【００４７】
次に、添付の図面にその実施例を示す実施形態を詳細に参照する。以下の詳細な説明では、記載する様々な実施形態が完全に理解されるように、多数の具体的な詳細を記載する。しかし、記載する様々な実施形態は、これらの具体的な詳細がなくても実施することができることは、当業者には明らかであろう。その他、周知の方法、手順、コンポーネント、回路、及びネットワークについては、実施形態の態様を不要に曖昧にしないよう、詳細には説明しない。
【００４８】
本明細書では、一部の例において第１、第２などの用語を使用して様々な要素を説明するが、これらの要素は、これらの用語によって限定されないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用されているものである。例えば、記載する様々な実施形態の範囲を逸脱することなく、第１の接点は、第２の接点と称することもでき、同様に、第２の接点を第１の接点と称することもできる。第１の接点及び第２の接点は両方とも接点であるが、文脈が明らかにそうでないことを示していない限り、両者は同じ接点ではない。
【００４９】
本明細書に記載する様々な実施形態の説明で使用する用語は、特定の実施形態を説明することのみを目的とするものであり、限定することを意図したものではない。記載する様々な実施形態の説明及び添付の特許請求の範囲で使用する単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が明らかにそうでないことを示していない限り、複数形も含むものとして意図されている。また、本明細書で使用する「及び／又は」という用語は、関連する列挙したアイテムのうちの１つ以上の任意の全ての可能な組合せを指し、これらを含むことも理解されたい。更に、本明細書で使用する「含む」、「含み」、「備える」、及び／又は「備え」という用語は、記載する特徴、整数、ステップ、動作、要素、及び／又は構成要素が存在することは指定するが、１つ以上のその他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループが存在すること、又は追加されることを除外しないことも理解されるであろう。
【００５０】
本明細書で使用する「〜場合」という用語は、任意選択的に、文脈に応じて「〜とき」、又は「〜すると」、又は「〜と判定したことに応答して」、又は「〜を検出したことに応答して」を意味するものと解釈される。同様に、「〜と判定された場合」又は「（記載する条件又はイベント）が検出された場合」という表現は、任意選択的に、文脈に応じて「〜と判定すると」、又は「〜と判定したことに応答して」、又は「（記載する条件又はイベント）が検出されると」、又は「（記載する条件又はイベント）を検出したことに応答して」を意味するものと解釈される。
【００５１】
電子デバイス、それらのデバイスのユーザーインターフェース、及びそれらのデバイスを使用するための関連するプロセスの実施形態を記載する。いくつかの実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態は、米国カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ社製のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ  Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）といったデバイスを含むが、これらに限定されない。タッチ感知面（例えばタッチスクリーンディスプレイ及び／又はタッチパッド）を有するラップトップ又はタブレットコンピュータなど、他のポータブル電子デバイスも、任意選択的に使用される。また、いくつかの実施形態では、デバイスは、ポータブル通信デバイスではなく、タッチ感知面（例えばタッチスクリーンディスプレイ及び／又はタッチパッド）を有するデスクトップコンピュータであることも理解されたい。
【００５２】
以下の説明では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかし、電子デバイスは、任意選択的に、物理的キーボード、マウス、及び／又はジョイスティックなどの１つ以上の他の物理的ユーザーインターフェースデバイスを含むことを理解されたい。
【００５３】
デバイスは、一般に、メモ取りアプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、ビデオ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレイヤアプリケーション及び／又はデジタルビデオプレイヤアプリケーションのうちの１つ以上など、様々なアプリケーションをサポートする。
【００５４】
このデバイスで実行される様々なアプリケーションは、任意選択的に、タッチ感知面などの少なくとも１つの共通の物理的ユーザーインターフェースデバイスを使用する。タッチ感知面の１つ以上の機能、並びにデバイスに表示される対応する情報は、任意選択的に、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、調節及び／又は変更される。このように、デバイスの共通の物理アーキテクチャ（タッチ感知面など）は、任意選択的に、ユーザーにとって直観的かつ透過的なユーザーインターフェースを備える様々なアプリケーションをサポートする。
【００５５】
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注目する。図１Ａは、いくつかの実施形態による、タッチ感知ディスプレイシステム１１２を備えるポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイシステム１１２は、便宜上「タッチスクリーン」と呼ばれることもあり、単にタッチ感知ディスプレイと呼ばれることもある。デバイス１００は、メモリ１０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インターフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、その他の入力又は制御デバイス１１６、及び外部ポート１２４を含む。デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。デバイス１００は、任意選択的に、デバイス１００（例えばデバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）上の接触の強度を検出する１つ以上の強度センサ１６５を含む。デバイス１００は、任意選択的に、デバイス１００上で触知出力を生成する（例えばデバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などのタッチ感知面上で触知出力を生成する）１つ以上の触知出力生成器１６７を含む。これらのコンポーネントは、任意選択的に、１つ以上の通信バス又は信号ライン１０３を介して通信する。
【００５６】
デバイス１００は、ポータブル多機能デバイスの１実施例に過ぎず、デバイス１００は、任意選択的に、示しているよりコンポーネントの数が多い、若しくは少ないことも、任意選択的に、２つ以上のコンポーネントを組みあわせることも、又は、任意選択的に、コンポーネントの異なる構成若しくは配置を有することもあることを理解されたい。図１Ａに示す様々なコンポーネントは、１つ以上の信号処理回路及び／又は特定用途向け集積回路など、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組合せで実装される。
【００５７】
メモリ１０２は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性固体状態メモリデバイスなどの不揮発性メモリも含む。ＣＰＵ（単数又は複数）１２０及び周辺機器インターフェース１１８などデバイス１００の他のコンポーネントによるメモリ１０２へのアクセスは、任意選択的に、メモリコントローラ１２２によって制御される。
【００５８】
周辺機器インターフェース１１８を使用して、デバイスの入力及び出力周辺機器を、ＣＰＵ（単数又は複数）１２０及びメモリ１０２に結合することができる。１つ以上のプロセッサ１２０は、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる、又は実行して、デバイス１００のための様々な機能を実行し、データを処理する。
【００５９】
いくつかの実施形態では、周辺機器インターフェース１１８、ＣＰＵ（単数又は複数）１２０、及びメモリコントローラ１２２は、任意選択的に、チップ１０４などの単一チップ上に実装される。いくつかの他の実施形態では、それらは、任意選択的に、別々のチップ上に実装される。
【００６０】
ＲＦ（radio frequency、高周波）回路１０８は、電磁信号とも呼ばれるＲＦ信号を受信及び送信する。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、任意選択的に、これらに限定されるわけではないが、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（ＳＩＭ）カード、及びメモリなど、これらの機能を実行する周知の回路を含む。ＲＦ回路１０８は、任意選択的に、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（local area network、ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。無線通信は、任意選択的に、これらに限定されるわけではないが、移動通信用のグローバルシステム（Global System for Mobile Communication、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケット接続（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケット接続（high-speed uplink packet access、ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ、Ｄａｔａ−Ｏｎｌｙ（ＥＶ−ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、デュアルセルＨＳＰＡ（ＤＣ−ＨＳＰＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離無線通信（near field communication、ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ−ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ（Ｗｉ−Ｆｉ）（例えばＩＥＥＥ  ８０２．１１ａ、ＩＥＥＥ  ８０２．１１ａｃ、ＩＥＥＥ  ８０２．１１ａｘ、ＩＥＥＥ  ８０２．１１ｂ、ＩＥＥＥ  ８０２．１１ｇ、及び／又はＩＥＥＥ  ８０２．１１ｎ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール用プロトコル（例えばインターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／又はポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば拡張可能メッセージング及びプレゼンスプロトコル（extensible messaging and presence protorol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンスレバレッジング拡張用セッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、並びに／若しくはショートメッセージサービス（Short Message Service、ＳＭＳ）など、複数の通信規格、プロトコル、及び技術のうちのいずれか、又は本文書の出願日現在でまだ開発されていない通信プロトコルを含む任意のその他の適当な通信プロトコルを使用する。
【００６１】
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザーとデバイス１００との間のオーディオインターフェースを提供する。オーディオ回路１１０は、周辺機器インターフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ１１１に伝送する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。また、オーディオ回路１１０は、マイクロフォン１１３によって音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インターフェース１１８に伝送する。オーディオデータは、任意選択的に、周辺機器インターフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、かつ／又はメモリ１０２及び／若しくはＲＦ回路１０８に伝送される。いくつかの実施形態では、オーディオ回路１１０は、ヘッドセットジャック（例えば図２の２１２）も含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば片耳又は両耳用のヘッドホン）及び入力（例えばマイクロフォン）の両方を有するヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインターフェースを提供する。
【００６２】
Ｉ／Ｏサブシステム１０６は、タッチ感知ディスプレイシステム１１２及びその他の入力又は制御デバイス１１６などのデバイス１００上の入出力周辺機器を周辺機器インターフェース１１８に結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び他の入力又は制御デバイスのための１つ以上の入力コントローラ１６０を含む。この１つ以上の入力コントローラ１６０は、他の入力又は制御デバイス１１６から電気信号を受信し、それらに電気信号を送信する。その他の入力又は制御デバイス１１６は、任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。一部の代替の実施形態では、入力コントローラ（単数又は複数）１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、スタイラス、及び／又はマウスなどのポインタデバイスのうちのいずれかと結合される（又は、いずれにも結合されない）。１つ以上のボタン（例えば図２の２０８）は、任意選択的に、スピーカ１１１及び／又はマイクロフォン１１３のボリューム制御のためのアップ／ダウンボタンを含む。１つ以上のボタンは、任意選択的に、プッシュボタン（例えば図２の２０６）を含む。
【００６３】
タッチ感知ディスプレイシステム１１２は、デバイスとユーザーとの間の入力インターフェース及び出力インターフェースを提供する。ディスプレイコントローラ１５６は、タッチ感知ディスプレイシステム１１２から電気信号を受信し、かつ／又はタッチ感知ディスプレイシステム１１２に電気信号を送信する。タッチ感知ディスプレイシステム１１２は、ユーザーに視覚出力を表示する。視覚出力は、任意選択的に、グラフィック、テキスト、アイコン、ビデオ、及びこれらの任意の組合せ（「グラフィック」と総称する）を含む。いくつかの実施形態では、視覚出力の一部又は全ては、ユーザーインターフェースオブジェクトに対応する。本明細書で使用する「アフォーダンス」という用語は、ユーザー対話型のグラフィカルユーザーインターフェースオブジェクト（例えばそのグラフィカルユーザーインターフェースオブジェクトに向けられた入力に対して応答するように構成されたグラフィカルユーザーインターフェースオブジェクト）を指す。ユーザー対話型のグラフィカルユーザーインターフェースオブジェクトの例としては、これらに限定されるわけではないが、ボタン、スライダ、アイコン、選択可能メニューアイテム、スイッチ、ハイパーリンク、又はその他のユーザーインターフェース制御が挙げられる。
【００６４】
タッチ感知ディスプレイシステム１１２は、触覚及び／又は触知接触に基づくユーザーからの入力を受け付けるタッチ感知面、センサ、又はセンサセットを有する。タッチ感知ディスプレイシステム１１２及びディスプレイコントローラ１５６（任意の関連するモジュール及び／又はメモリ１０２内の命令セットも含む）は、タッチ感知ディスプレイシステム１１２上の接触（及びその接触の任意の動き又は中断）を検出し、検出した接触をタッチ感知ディスプレイシステム１１２に表示されるユーザーインターフェースオブジェクト（例えば１つ以上のソフトキー、アイコン、ウェブページ、又は画像）との対話に変換する。いくつかの実施形態では、タッチ感知ディスプレイシステム１１２とユーザーとの間の接触点は、ユーザーの指又はスタイラスに対応する。
【００６５】
タッチ感知ディスプレイシステム１１２は、任意選択的に、ＬＣＤ（liquid crystal display、液晶ディスプレイ）技術、ＬＰＤ（light emitting polymer display、発光ポリマーディスプレイ）技術、又はＬＥＤ（light emitting diode、発光ダイオード）技術を使用するが、他の実施形態では、他の表示技術を使用する。タッチ感知ディスプレイシステム１１２及びディスプレイコントローラ１５６は、任意選択的に、これらに限定されるわけではないが、静電容量技術、抵抗性技術、赤外線技術、及び表面音響波技術、並びにタッチ感知ディスプレイシステム１１２との１つ以上の接触点を決定するその他の近接センサレイ又は他の要素など、現在既知の、又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触と、接触の任意の動き又は中断とを検出する。いくつかの実施形態では、米国カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ社製のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ  Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）などの、投影型相互静電容量感知技術が使用される。
【００６６】
タッチ感知ディスプレイシステム１１２は、任意選択的に、１００ｄｐｉを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンのビデオ解像度は、４００ｄｐｉを超える（例えば５００ｄｐｉ、８００ｄｐｉ、又はそれより高い）。ユーザーは、任意選択的に、スタイラス、指などの任意の好適なオブジェクト又は付属物を使用して、タッチ感知ディスプレイシステム１１２に接触する。いくつかの実施形態では、ユーザーインターフェースは、指による接触及びジェスチャで機能するように設計されるが、指による接触及びジェスチャは、指がタッチスクリーンと接触する面積が大きいために、スタイラスによる入力よりも精度が低くなる可能性がある。いくつかの実施形態では、デバイスは、指による粗い入力を、精密なポインタ／カーソル位置、又はユーザーの望むアクションを実行するコマンドに変換する。
【００６７】
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッド（図示せず）を含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチ感知ディスプレイシステム１１２から分離したタッチ感知面、又はタッチスクリーンによって形成されるタッチ感知面の延長部である。
【００６８】
デバイス１００は、また、様々なコンポーネントに電力を供給する電力システム１６２を含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えばバッテリ、交流（ＡＣ））、再充電システム、電源異常検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば発光ダイオード（ＬＥＤ））、並びにポータブルデバイスにおける電力の生成、管理及び分配に関連するその他の任意のコンポーネントを含む。
【００６９】
また、デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に結合された光センサを示している。光センサ１６４（単数又は複数）は、任意選択的に、電荷結合デバイス（charge-coupled device、ＣＣＤ）又は相補的金属酸化物半導体（complementary metal-oxide semiconductor、ＣＭＯＳ）フォトトランジスタを含む。光センサ１６４（単数又は複数）は、１つ以上のレンズを通じて投影される環境からの光を受光し、この光を画像を表すデータに変換する。撮像モジュール１４３（カメラモジュールとも呼ばれる）と協働して、光センサ（単数又は複数）１６４は、任意選択的に、静止画像及び／又はビデオをキャプチャする。いくつかの実施形態では、光センサを、デバイスの前面上のタッチ感知ディスプレイシステム１１２の反対側のデバイス１００の背面上に位置付けて、タッチスクリーンを静止画像及び／又はビデオ画像取得を取得するビューファインダとして使用することができるようにする。いくつかの実施形態では、別の光センサを、デバイスの前面に位置付けて、ユーザーの画像が取得されるようにする（例えば自撮りのため、ユーザーがビデオ会議に参加しながらタッチスクリーン上で他のビデオ会議参加者を見るためなど）。
【００７０】
また、デバイス１００は、任意選択的に、１つ以上の接触強度センサ１６５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された接触強度センサを示している。接触強度センサ（単数又は複数）１６５は、任意選択的に、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又はその他の強度センサ（例えばタッチ感知面上の接触の力（又は圧力）を測定するために使用されるセンサ）を含む。接触強度センサ（単数又は複数）１６５は、環境から接触強度情報（例えば圧力情報又は圧力情報の代わりになるもの）を受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接している。いくつかの実施形態では、少なくとも１つの接触強度センサは、デバイス１００の前面上に位置するタッチスクリーンディスプレイシステム１１２の反対側のデバイス１００の背面上に位置する。
【００７１】
また、デバイス１００は、任意選択的に、１つ以上の近接センサ１６６を含む。図１Ａは、周辺機器インターフェース１１８に結合された近接センサ１６６を示している。あるいは、近接センサ１６６は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。いくつかの実施形態では、多機能デバイスがユーザーの耳の近くに配置されているとき（例えばユーザーが電話しているとき）に、近接センサは、タッチ感知ディスプレイシステム１１２をオフにして、使用不可状態にする。
【００７２】
また、デバイス１００は、任意選択的に、１つ以上の触知出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に結合された触知出力生成器を示している。いくつかの実施形態では、触知出力生成器（単数又は複数）１６７は、スピーカ若しくはその他のオーディオコンポーネントなどの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ若しくはその他の触知出力生成コンポーネント（例えば電気信号をデバイス上での触知出力に変換するコンポーネント）などのエネルギーを直線状の動きに変換する電気機械デバイスを含む。触知出力生成器（単数又は複数）１６７は、触覚フィードバックモジュール１３３から触知フィードバック生成命令を受信し、デバイス１００のユーザーが感知できる触知出力をデバイス１００上で生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向に（例えばデバイス１００の表面の内／外に）、又は横方向に（例えばデバイス１００の表面と同じプレーン内で前後に）移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサは、デバイス１００の前面上に位置するタッチ感知ディスプレイシステム１１２の反対側のデバイス１００の背面上に位置する。
【００７３】
また、デバイス１００は、任意選択的に、１つ以上の加速度計１６８を含む。図１Ａは、周辺機器インターフェース１１８に結合された加速度計１６８を示している。あるいは、加速度計１６８は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。いくつかの実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、タッチスクリーンディスプレイに横長表示又は縦長表示で表示される。デバイス１００は、任意選択的に、加速度計（単数又は複数）１６８に加えて、磁気計（図示せず）並びにデバイス１００の位置及び向き（例えば縦長又は横長）に関する情報を取得するＧＰＳ（又はＧＬＯＮＡＳＳ若しくはその他のグローバルナビゲーションシステム）受信機（図示せず）を含む。
【００７４】
いくつかの実施形態では、メモリ１０２に記憶されたソフトウェアコンポーネントは、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、触覚フィードバックモジュール（又は命令セット）１３３、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System、ＧＰＳ）モジュール（又は命令セット）１３５、及びアプリケーション（又は命令セット）１３６を含む。更に、いくつかの実施形態では、図１Ａ及び図３に示すように、メモリ１０２は、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示す、アクティブアプリケーション状態、タッチ感知ディスプレイシステム１１２の様々な領域を、どんなアプリケーション、ビュー、又はその他の情報が占有しているかを示す表示状態、デバイスの様々なセンサ及びその他の入力又は制御デバイス１１６から取得される情報を含むセンサ状態、並びにデバイスの位置及び／又は姿勢に関する位置及び／又は姿勢情報、のうちの１つ以上を含む。
【００７５】
オペレーティングシステム１２６（例えばｉＯＳ、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ、ＯＳ  Ｘ、ＷＩＮＤＯＷＳ、又はＶｘＷｏｒｋｓなどの組み込みオペレーティングシステム）は、全体的なシステムタスク（例えばメモリ管理、記憶デバイス制御、電力管理など）を制御及び管理する様々なソフトウェアコンポーネント及び／又はドライバを含み、様々なハードウェアコンポーネントとソフトウェアコンポーネントとの間の通信を円滑化する。
【００７６】
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を円滑化し、また、ＲＦ回路１０８及び／又は外部ポート１２４が受信するデータを処理する様々なソフトウェアコンポーネントも含む。外部ポート１２４（例えばユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えばインターネット、無線ＬＡＮなど）を介して間接的に、他のデバイスに連結するように適合されている。いくつかの実施形態では、外部ポートは、米国カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ社製のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ  Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）といったいくつかのデバイスで使用される３０ピンコネクタと同じである、又はこれに類似している、及び／又はこれと互換性のあるマルチピン（例えば３０ピン）コネクタである。いくつかの実施形態では、外部ポートは、米国カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ社製のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ  Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）といったいくつかのデバイスで使用されるＬｉｇｈｔｎｉｎｇコネクタと同じである、又はこれに類似している、及び／又はこれと互換性のあるＬｉｇｈｔｎｉｎｇコネクタである。
【００７７】
接触／動きモジュール１３０は、任意選択的に、タッチ感知ディスプレイシステム１１２との接触を（ディスプレイコントローラ１５６と協働して）検出し、また他のタッチ感知デバイス（例えばタッチパッド又は物理クリックホイール）との接触を検出する。接触／動きモジュール１３０は、接触が発生したかを判定する（例えば指が下りるイベントを検出する）、接触の強度（例えば接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定する、接触の移動があるかを判定してタッチ感知面にわたるその移動を追跡する（例えば１つ以上の指のドラッグイベントを検出する）、接触が終了したかどうかを判定する（例えば指が上がるイベント又は接触の中断を検出する）など、（例えば指又はスタイラスによる）接触の検出に関連する様々な動作を実行する様々なソフトウェアコンポーネントを含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変化）を決定することを含む。これらの動作は、任意選択的に、個別の接触（例えば１本の指による接触又は１つのスタイラスによる接触）、又は複数の同時接触（例えば「マルチタッチ」／複数本の指による接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
【００７８】
接触／動きモジュール１３０は、任意選択的に、ユーザーによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する（例えば検出される接触の動き、タイミング、及び／又は強度が異なる）。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指のタップジェスチャの検出は、（例えばアイコンの位置で）指が下りるイベントを検出した後に、指が下りるイベントと同じ位置（又は実質的に同じ位置）で指が上がる（リフトオフ）イベントを検出することを含む。別の実施例では、タッチ感知面上の指のスワイプジェスチャの検出は、指が下りるイベントを検出した後に、１つ以上の指のドラッグイベントを検出し、その後に、指が上がる（リフトオフ）イベントを検出することを含む。スタイラスについても同様に、タップ、スワイプ、ドラッグ、及びその他のジェスチャは、任意選択的に、そのスタイラスについての特定の接触パターンを検出することによって検出される。
【００７９】
いくつかの実施形態では、指のタップジェスチャの検出は、指が下りるイベントを検出してから指が上がるイベントを検出するまでの時間の長さに依存するが、指が下りるイベントを検出してから指が上がるイベントを検出するまでの間の指の接触の強度には左右されない。いくつかの実施形態では、タップジェスチャは、タップ中の指の接触の強度が、軽い押圧又は深い押圧の強度閾値など所与の強度閾値（公称接触検出強度閾値よりも大きい）を満たすかどうかに関わりなく、指が下りるイベントから指が上がるイベントまでの間の時間の長さが所定の値よりも小さい（例えば０．１秒、０．２秒、０．３秒、０．４秒、又は０．５秒よりも短い）との判定にしたがって検出される。したがって、指のタップジェスチャは、その特定の入力基準が満たされるために接触の特性強度が所与の強度閾値を満たすことを必要としない、特定の入力基準を満たせばよい。明確にするために、指が下りるイベントが検出されるためには、タップジェスチャにおける指の接触は、通常は、それを下回ると接触が検出されない公称接触検出強度閾値を満たす必要がある。同様の分析は、スタイラスによる接触またはその他の接触によるタップジェスチャの検出にも当てはまる。デバイスがタッチ感知面上をホバリングする指又はスタイラスの接触を検出することができる場合には、公称接触検出強度閾値は、任意選択的に、指又はスタイラスとタッチ感知面との間の物理的接触に対応しない。
【００８０】
同じ概念が、他のタイプのジェスチャにも同様に当てはまる。例えば、スワイプジェスチャ、ピンチジェスチャ、デピンチジェスチャ、及び／又は長押しジェスチャは、任意選択的に、ジェスチャに含まれる接触の強度と無関係であるか、又はジェスチャを行う接触（単数又は複数）が認識されるのに強度閾値に到達することを必要としない基準が満たされることに基づいて、検出される。例えば、スワイプジェスチャは、１つ以上の接触の移動量に基づいて検出され、ピンチジェスチャは、２つ以上の接触の互いに向かう移動に基づいて検出され、デピンチジェスチャは、２つ以上の接触の互いに遠ざかる移動に基づいて検出され、長押しジェスチャは、移動量が閾値移動量未満であるタッチ感知面上の接触の持続時間に基づいて検出される。したがって、特定のジェスチャ認識基準が、その特定のジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としないという記述は、ジェスチャにおける接触（単数又は複数）がそれぞれの強度閾値に達しない場合にもその特定のジェスチャ認識基準を満たすことができ、またジェスチャにおける接触のうちの１つ以上がそれぞれの強度閾値に達しない、又はそれを超えない状況でも満たすことができることを意味している。いくつかの実施形態では、タップジェスチャは、接触が所定の期間中にそれぞれの強度閾値を上回る又は下回るかどうか関わらず、指が下りるイベント及び指が上がるイベントがその所定の期間内に検出されたとの判定に基づいて検出され、スワイプジェスチャは、接触の移動の終わりにその接触がそれぞれの強度閾値を上回る場合でも、接触の移動が所定の大きさよりも大きいとの判定に基づいて検出される。ジェスチャの検出が、ジェスチャを行う接触の強度の影響を受ける実施態様（例えば、デバイスが、接触の強度が強度閾値を上回るときには早めに長押しを検出する、又は接触の強度が高いときにはタップ入力の検出を遅らせる）でも、接触が特定の強度閾値に達しない状況でそのジェスチャを認識する基準を満たすことができる限り（例えば、ジェスチャを認識するためにかかる時間の長さが変化する場合でも）、これらのジェスチャの検出は、接触が特定の強度閾値に到達することを必要としない。
【００８１】
いくつかの状況では、接触強度閾値、持続時間閾値、及び移動閾値を、様々に異なる組合せで組み合わせて、同じ入力要素又は領域に向けられた２つ以上の異なるジェスチャを区別するヒューリスティックスを作成して、同じ入力要素との複数の異なる対話によってより豊かなユーザー対話及び応答のセットを提供することができるようにする。ジェスチャ認識基準の特定のセットが、その特定のジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としないという記述は、ジェスチャがそれぞれの強度閾値を超える強度を有する接触を含むときに満たされる基準を有する他のジェスチャを識別するための他の強度に依存するジェスチャ認識基準をそれと同時に評価することを排除しない。例えば、いくつかの状況では、そのジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としない第１のジェスチャの第１のジェスチャ認識基準が、接触（単数又は複数）がそれぞれの強度閾値に到達することに依存する第２のジェスチャの第２のジェスチャ認識基準と競合する。このような競合時には、ジェスチャは、任意選択的に、第２のジェスチャの第２のジェスチャ認識基準が先に満たされた場合には、第１のジェスチャの第１のジェスチャ認識基準を満足しているものとは認識されない。例えば、接触が所定の移動量を移動する前にそれぞれの強度閾値に達した場合には、スワイプジェスチャではなく深押しジェスチャが検出される。逆に、接触が所定の移動量を移動した後でそれぞれの強度閾値に達した場合には、深押しジェスチャではなくスワイプジェスチャが検出される。このような状況でも、やはり、第１のジェスチャの第１のジェスチャ認識基準は、第１のジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としない。これは、ジェスチャの終わりまで接触がそれぞれの強度閾値を下回ったままであったとしたら（例えばそれぞれの強度閾値を上回る強度まで増大しない接触を有するスワイプジェスチャの場合）、そのジェスチャは、第１のジェスチャ認識基準によってスワイプジェスチャとして認識されているはずであるからである。したがって、その特定のジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としない特定のジェスチャ認識基準は、（Ａ）いくつかの状況では、（例えばタップジェスチャの）強度閾値に関して接触の強度を無視し、かつ／又は（Ｂ）いくつかの状況では、競合する強度依存ジェスチャ認識基準（例えば長押しジェスチャの認識基準）のセットがある入力を強度依存ジェスチャに対応するものとして認識した後で、その特定のジェスチャ認識基準がその入力に対応するジェスチャ（例えば深押しジェスチャと認識をめぐって競合する長押しジェスチャ）を認識した場合には、その特定のジェスチャ認識基準（例えば長押しジェスチャの認識基準）が満たされないという意味で、依然として強度閾値に関して接触の強度に依存する。
【００８２】
グラフィックモジュール１３２は、表示されるグラフィックの視覚的影響（例えば、輝度、透明度、彩度、コントラスト、又はその他の視覚特性）を変更するコンポーネントなど、タッチ感知ディスプレイシステム１１２又はその他のディスプレイ上でグラフィックをレンダリング及び表示する様々な既知のソフトウェアコンポーネントを含む。本明細書で使用する「グラフィック」という用語は、これらに限定されるわけではないが、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザーインターフェースオブジェクトなど）、デジタル画像、ビデオ、アニメーションなど、ユーザーに対して表示することができる任意のオブジェクトを含む。
【００８３】
いくつかの実施形態では、グラフィックモジュール１３２は、使用されるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて座標データ及び他のグラフィック特性データと共に表示されるグラフィックを指定する１つ以上のコードを受信し、次いで、ディスプレイコントローラ１５６に出力するスクリーン画像データを生成する。
【００８４】
触覚フィードバックモジュール１３３は、デバイス１００とのユーザー対話に応答して、触知出力生成器（単数又は複数）１６７を使用してデバイス１００上の１つ以上の位置で触知出力を生成する命令（例えば触覚フィードバックコントローラ１６１によって使用される命令）を生成する様々なソフトウェアコンポーネントを含む。
【００８５】
テキスト入力モジュール１３４は、任意選択的にグラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とするその他の任意のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
【００８６】
ＧＰＳモジュール１３５は、デバイスの場所を決定し、この情報を、様々なアプリケーションで使用されるように提供する（例えば、電話１３８に提供して場所に基づくダイヤル発呼に使用する、写真／ビデオのメタデータとしてカメラ１４３に提供する、並びに天気ウィジェット、地域の電話帳ウィジェット、及び地図／ナビゲーションウィジェットなど場所に基づくサービスを提供するアプリケーションに提供するなど）。
【００８７】
アプリケーション１３６は、任意選択的に、以下のモジュール（又は命令セット）又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール１３７（アドレス帳又は連絡先リストと呼ばれることもある）、
●電話モジュール１３８、
●ビデオ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／若しくはビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●天気ウィジェット１４９−１、株価ウィジェット１４９−２、計算機ウィジェット１４９−３、目覚まし時計ウィジェット１４９−４、辞書ウィジェット１４９−５、及びユーザーが取得したその他のウィジェット、並びにユーザー作成ウィジェット１４９−６のうちの１つ以上を任意選択的に含む、ウィジェットモジュール１４９、
●ユーザー作成ウィジェット１４９−６を作成するウィジェットクリエータモジュール１５０、
●検索モジュール１５１、
●任意選択的にビデオプレーヤーモジュール及び音楽プレーヤモジュールで構成される、ビデオ及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、並びに／又は
●オンラインビデオモジュール１５５。
【００８８】
任意選択的にメモリ１０２に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
【００８９】
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、連絡先モジュール１３７は、アドレス帳に名前（単数又は複数）を追加する、アドレス帳から名前（単数又は複数）を削除する、電話番号（単数又は複数）、メールアドレス（単数又は複数）、物理アドレス（単数又は複数）又はその他の情報を名前と関連付ける、画像を名前と関連付ける、名前を分類して整理する、電話番号及び／又は電子メールアドレスを提供して、電話１３８、ビデオ会議１３９、電子メール１４０又はＩＭ１４１によって通信を開始及び／又は円滑化するなど、（例えばメモリ１０２又はメモリ３７０の連絡先モジュール１３７のアプリケーション内部状態１９２に記憶される）アドレス帳又は連絡先リストを管理するための実行可能命令を含む。
【００９０】
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、電話モジュール１３８は、電話番号に対応する一連の文字を入力し、アドレス帳１３７内の１つ以上の電話番号にアクセスし、入力されている電話番号を修正し、それぞれの電話番号をダイヤルし、会話を実行し、会話が完了したときに切断する、又は電話を切る実行可能命令を含む。上述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
【００９１】
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先リスト１３７、及び電話モジュール１３８に関連して、ビデオ会議モジュール１３９は、ユーザーの命令にしたがってユーザーと１人以上の他の参加者との間のビデオ会議を開始し、行い、終了する実行可能命令を含む。
【００９２】
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、電子メールクライアントモジュール１４０は、ユーザーの命令に応答して電子メールを作成し、送信し、受信し、管理する実行可能命令を含む。画像管理モジュール１４４に関連して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールを作成及び送信することを非常に容易にする。
【００９３】
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、インスタントメッセージングモジュール１４１は、インスタントメッセージに対応する一連の文字を入力し、以前に入力された文字を修正し、（例えば電話によるインスタントメッセージ用のショートメッセージサービス（Short Message Service、ＳＭＳ）若しくはマルチメディアメッセージサービス（Multimedia Message Service、ＭＭＳ）プロトコルを使用して、又はインターネットによるインスタントメッセージ用のＸＭＰＰ、ＳＩＭＰＬＥ、Ａｐｐｌｅ  Ｐｕｓｈ  Ｎｏｔｉｆｉｃａｔｉｏｎ  Ｓｅｒｖｉｃｅ（ＡＰＮｓ）若しくはＩＭＰＳを使用して）それぞれのインスタントメッセージを伝送し、インスタントメッセージを受信し、受信したインスタントメッセージを見る実行可能命令を含む。いくつかの実施形態では、伝送及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるグラフィック、写真、オーディオファイル、ビデオファイル、及び／又はその他の添付物を含む。本明細書で使用する「インスタントメッセージ」は、電話によるメッセージ（例えばＳＭＳ又はＭＭＳを使用して送信されるメッセージ）及びインターネットによるメッセージ（例えばＸＭＰＰ、ＳＩＭＰＬＥ、ＡＰＮｓ、又はＩＭＰＳを使用して送信されるメッセージ）の両方を指す。
【００９４】
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４、並びにビデオ及び音楽プレーヤモジュール１５２に関連して、トレーニングサポートモジュール１４２は、（例えば時間、距離、及び／又はカロリー消費目標を有する）トレーニングを作成し、（スポーツデバイス及びスマートウォッチの）トレーニングセンサと通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択して再生し、トレーニングデータを表示、記憶、及び伝送する実行可能命令を含む。
【００９５】
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４に関連して、カメラモジュール１４３は、静止画像若しくはビデオ（ビデオストリームを含む）をキャプチャして、それらをメモリ１０２に記憶し、静止画像若しくはビデオの特性を修正し、かつ／又はメモリ１０２から静止画像若しくはビデオを削除する実行可能命令を含む。
【００９６】
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３に関連して、画像管理モジュール１４４は、静止画像及び／又はビデオ画像を配置し、修正（例えば編集）するなどして操作し、ラベル付けし、削除し、（例えばデジタルスライドショーで、又はアルバムとして）提示し、記憶する実行可能命令を含む。
【００９７】
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、ブラウザモジュール１４７は、ウェブページ又はその一部、並びにウェブページにリンクされた添付物及びその他のファイルを検索する、それらにリンクする、受信する、及び表示するなど、ユーザーの命令にしたがってインターネットを閲覧する実行可能命令を含む。
【００９８】
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７に関連して、カレンダモジュール１４８は、ユーザーの命令にしたがって、カレンダ及びカレンダに関連するデータ（例えばカレンダ項目、ＴｏＤｏリストなど）を作成し、表示し、修正し、記憶する実行可能命令を含む。
【００９９】
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７に関連して、ウィジェットモジュール１４９は、任意選択的にユーザーによってダウンロードされて使用されるミニアプリケーション（例えば気象ウィジェット１４９−１、株式ウィジェット１４９−２、計算機ウィジェット１４９−３、目覚まし時計ウィジェット１４９−４、及び辞書ウィジェット１４９−５）であるか、又はユーザーによって作成されるミニアプリケーション（例えばユーザー作成ウィジェット１４９−６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Hypertext Markup Language、ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Cascading Style Sheets、カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔ（登録商標）ファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Extensible Markup Language、拡張可能マークアップ言語）ファイル、及びＪａｖａＳｃｒｉｐｔファイル（例えばＹａｈｏｏ！ウィジェット）を含む。
【０１００】
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７に関連して、ウィジェットクリエータモジュール１５０は、ウィジェットを作成する（例えばウェブページのユーザー指定部分をウィジェットにする）実行可能命令を含む。
【０１０１】
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、検索モジュール１５１は、ユーザーの命令にしたがって、１つ以上の検索基準（例えば１つ以上のユーザー指定の検索語）と一致する、メモリ１０２内のテキスト、音楽、音声、画像、ビデオ、及び／又はその他のファイルを検索する実行可能命令を含む。
【０１０２】
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、及びブラウザモジュール１４７に関連して、ビデオ及び音楽プレーヤモジュール１５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された記録された音楽又はその他の音声ファイルをユーザーがダウンロードして再生することを可能にする実行可能命令、及び（例えばタッチ感知ディスプレイシステム１１２上で、又は無線で、若しくは外部ポート１２４を介して接続された外部のディスプレイ上で）ビデオを表示したり提示したりするなどして再生する実行可能命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ社の商標）などのＭＰ３プレーヤの機能を含む。
【０１０３】
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、メモモジュール１５３は、ユーザーの命令にしたがって、メモ、ＴｏＤｏリストなどを作成して管理する実行可能命令を含む。
【０１０４】
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７に関連して、地図モジュール１５４は、ユーザーの命令にしたがって、地図及び地図に関連するデータ（例えば、運転方向、特定の場所又はその付近の店舗及びその他の対象地点についてのデータ、並びにその他の場所に基づくデータ）を受信し、表示し、修正し、記憶する実行可能命令を含む。
【０１０５】
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７に関連して、オンラインビデオモジュール１５５は、ユーザーがＨ．２６４などの１つ以上のファイル形式のオンラインビデオにアクセスし、閲覧し、（例えばストリーミング及び／又はダウンロードによって）受信し、（例えばタッチスクリーン１１２上で、又は無線で、若しくは外部ポート１２４を介して接続された外部のディスプレイ上で）再生し、特定のオンラインビデオへのリンクを有する電子メールを送信し、またその他の方法で管理することを可能にする実行可能命令を含む。いくつかの実施形態では、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１を使用して、特定のオンラインビデオへのリンクを送信する。
【０１０６】
上記で特定したモジュール及びアプリケーションの各々は、上述した１つ以上の機能を実行する実行可能命令のセット、及び本願で説明する方法（例えば本明細書で説明するコンピュータ実施方法及びその他の情報処理方法）に対応する。これらのモジュール（すなわち命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、様々な実施形態では、これらのモジュールの様々なサブセットを、任意選択的に、組み合わせるなどして再構成する。いくつかの実施形態では、メモリ１０２は、任意選択的に、上記で特定したモジュール及びデータ構造のサブセットを記憶する。更に、メモリ１０２は、任意選択的に、上記で説明していない追加のモジュール及びデータ構造を記憶する。
【０１０７】
いくつかの実施形態では、デバイス１００は、そのデバイスにおける所定の機能のセットの動作がタッチスクリーン及び／又はタッチパッドのみを通じて実行されるデバイスである。デバイス１００が動作するための主要な入力制御デバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、任意選択的に、デバイス１００上の物理的な入力制御デバイス（プッシュボタン、ダイヤルなど）の数が削減される。
【０１０８】
タッチスクリーン及び／又はタッチパッドを通じてのみ実行される所定の機能のセットは、任意選択的に、ユーザーインターフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザーによってタッチされたときに、デバイス１００上に表示される任意のユーザーインターフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又はその他の物理入力制御デバイスである。
【０１０９】
図１Ｂは、いくつかの実施形態によるイベントハンドリングのための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、（例えばオペレーティングシステム１２６の）イベントソータ１７０及びそれぞれのアプリケーション１３６−１（例えば上述したアプリケーション１３６、１３７〜１５５、３８０〜３９０のうちのいずれか）を含む。
【０１１０】
イベントソータ１７０は、イベント情報を受信し、イベント情報の送達先となるアプリケーション１３６−１及びアプリケーション１３６−１のアプリケーションビュー１９１を決定する。イベントソータ１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。いくつかの実施形態では、アプリケーション１３６−１は、アプリケーションがアクティブである、又は実行中であるときにタッチ感知ディスプレイシステム１１２に表示される現在のアプリケーションビュー（単数又は複数）を示す、アプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７をイベントソータ１７０が使用して、どのアプリケーション（単数又は複数）が現在アクティブであるかを判定し、アプリケーション内部状態１９２をイベントソータ１７０が使用して、イベント情報の送達先となるアプリケーションビュー１９１を決定する。
【０１１１】
いくつかの実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６−１が実行を再開するときに使用される再開情報、アプリケーション１３６−１によって表示されている、又は表示される準備ができている情報を示すユーザーインターフェース状態情報、ユーザーがアプリケーション１３６−１の以前の状態又はビューに戻ることを可能にする状態待ち行列、及びユーザーが行った以前のアクションのリドゥ／アンドゥ待ち行列のうちの１つ以上などの追加の情報を含む。
【０１１２】
イベントモニタ１７１は、周辺機器インターフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えばマルチタッチジェスチャの一部としてのタッチ感知ディスプレイシステム１１２上のユーザーのタッチ）についての情報を含む。周辺機器インターフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計（単数又は複数）１６８、及び／若しくは（オーディオ回路１１０を介した）マイクロフォン１１３などのセンサから受信する情報を伝送する。周辺機器インターフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイシステム１１２又はタッチ感知面からの情報を含む。
【０１１３】
いくつかの実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インターフェース１１８に要求を送信する。それに応答して、周辺機器インターフェース１１８は、イベント情報を伝送する。他の実施形態では、周辺機器インターフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回り、及び／又は所定の持続時間よりも長い入力を受信すること）があったときのみ、イベント情報を伝送する。
【０１１４】
いくつかの実施形態では、イベントソータ１７０は、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。
【０１１５】
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイシステム１１２が２つ以上のビューを表示するときに、１つ以上のビュー内のどこでサブイベントが発生したかを決定するソフトウェア手順を提供する。ビューは、ユーザーがディスプレイ上で見ることができる制御要素およびその他の要素で構成される。
【０１１６】
アプリケーションに関連するユーザーインターフェースの別の態様は、その中に情報が表示され、タッチによるジェスチャが行われる、本明細書でアプリケーションビュー又はユーザーインターフェースィンドウと呼ぶこともあるビューのセットである。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。
【０１１７】
ヒットビュー判定モジュール１７２は、タッチによるジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するときには、ヒットビュー判定モジュール１７２は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始サブイベント（すなわちイベント又は潜在的なイベントを形成するサブイベントのシーケンスのうちの最初のサブイベント）が発生する最下位レベルビューである。ヒットビューがヒットビュー判定モジュールによって特定されると、そのヒットビューは、通常は、それがヒットビューとして特定されたのと同じタッチ又は入力源に関連する全てのサブイベントを受信する。
【０１１８】
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連する領域に完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
【０１１９】
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えばイベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態では、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３によって判定されたイベント認識部にイベント情報を送達する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、それぞれのイベント受信部モジュール１８２によって取得されるイベント情報を、イベント待ち行列に記憶する。
【０１２０】
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。あるいは、アプリケーション１３６−１が、イベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、独立型モジュール、又は接触／動きモジュール１３０などのメモリ１０２に記憶された別のモジュールの一部である。
【０１２１】
いくつかの実施形態では、アプリケーション１３６−１は、アプリケーションのユーザーインターフェースのそれぞれのビュー内で発生するタッチイベントを処理する命令をそれぞれ含む、複数のイベントハンドラ１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６−１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。通常は、それぞれのアプリケーションビュー１９１が、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上が、ユーザーインターフェースキット（図示せず）、又はアプリケーション１３６−１がメソッド及びその他の性質をそこから継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベントハンドラ１９０は、データアップデーター１７６、オブジェクトアップデーター１７７、ＧＵＩアップデーター１７８、及び／又はイベントソータ１７０から受信するイベントデータ１７９のうちの１つ以上を含む。イベントハンドラ１９０は、任意選択的に、データアップデーター１７６、オブジェクトアップデーター１７７、又はＧＵＩアップデーター１７８を利用して、又は呼び出して、アプリケーション内部状態１９２を更新する。あるいは、アプリケーションビュー１９１のうちの１つ以上は、それぞれ１つ以上のイベントハンドラ１９０を含む。また、いくつかの実施形態では、データアップデーター１７６、オブジェクトアップデーター１７７、及びＧＵＩアップデーター１７８のうちの１つ以上は、それぞれのアプリケーションビュー１９１に含まれる。
【０１２２】
それぞれのイベント認識部１８０は、イベントソータ１７０からイベント情報（例えばイベントデータ１７９）を受信し、そのイベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０は、メタデータ１８３及びイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットも含む。
【０１２３】
イベント受信部１８２は、イベントソータ１７０からイベント情報を受信する。イベント情報は、例えばタッチ又はタッチの移動などのサブイベントに関する情報を含む。サブイベントによっては、イベント情報は、サブイベントの位置などの追加の情報も含む。サブイベントがタッチの動きに関するものであるときには、イベント情報は、任意選択的に、サブイベントの速さ及び方向も含む。いくつかの実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへ、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ぶ）についての対応する情報を含む。
【０１２４】
イベント比較部１８４は、イベント情報を所定のイベント又はサブイベントの定義と比較し、この比較に基づいて、イベント又はサブイベントを決定する、又はイベント若しくはサブイベントの状態を決定若しくは更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えばイベント１（１８７−１）及びイベント２（１８７−２）などのイベント（例えば所定のサブイベントのシーケンス）の定義を含む。いくつかの実施形態では、イベント１８７のサブイベントは、例えば、タッチ開始、タッチ終了、タッチ移動、タッチ取消し、及び複数タッチを含む。１実施例では、イベント１（１８７−１）の定義は、表示されたオブジェクト上でのダブルタップである。ダブルタップは、例えば、表示されたオブジェクト上での所定の期間にわたる第１のタッチ（タッチ開始）と、所定の期間にわたる第１のリフトオフ（タッチ終了）と、表示されたオブジェクト上での所定の期間にわたる第２のタッチ（タッチ開始）と、所定の期間にわたる第２のリフトオフ（タッチ終了）とを含む。別の実施例では、イベント２（１８７−２）の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、表示されたオブジェクト上での所定の期間にわたるタッチ（又は接触）と、タッチ感知ディスプレイシステム１１２にわたるタッチの移動と、タッチのリフトオフ（タッチ終了）とを含む。いくつかの実施形態では、イベントは、１つ以上の関連付けられたイベントハンドラ１９０についての情報も含む。
【０１２５】
いくつかの実施形態では、イベント定義１８７は、それぞれのユーザーインターフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、どのユーザーインターフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、３つのユーザーインターフェースオブジェクトがタッチ感知ディスプレイシステム１１２に表示されるアプリケーションビューでは、タッチ感知ディスプレイシステム１１２上でタッチが検出されると、イベント比較部１８４は、ヒットテストを実行して、３つのユーザーインターフェースオブジェクトのうちのどれがタッチ（サブイベント）と関連付けられているかを判定する。表示された各オブジェクトが、それぞれイベントハンドラ１９０と関連付けられている場合には、イベント比較部は、ヒットテストの結果を使用して、どのイベントハンドラ１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトと関連付けられたイベントハンドラを選択する。
【０１２６】
いくつかの実施形態では、それぞれのイベント１８７の定義は、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するか否かが判定されるまで、イベント情報の送達を遅延させる遅延アクションも含む。
【０１２７】
それぞれのイベント認識部１８０が一連のサブイベントがイベント定義１８６のいずれのイベントとも一致しないと判断した場合には、それぞれのイベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態になり、その後は、タッチによるジェスチャの後続のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
【０１２８】
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベント送達システムがどのようにしてサブイベント送達を実行すべきかをアクティブに関わりがあるイベント認識部に対して示す構成可能なプロパティ、フラグ及び／又はリストを有するメタデータ１８３を含む。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することができるようになっているかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における様々なレベルに送達されるかどうかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。
【０１２９】
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されたときに、イベントと関連付けられたイベントハンドラ１９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントと関連付けられたイベント情報を、イベントハンドラ１９０に送達する。イベントハンドラ１９０をアクティブ化することは、サブイベントをそれぞれのヒットビューに送信すること（及び遅らせて送信すること）とは異なる。いくつかの実施形態では、イベント認識部１８０は、認識したイベントと関連付けられたフラグを投入し、そのフラグと関連付けられたイベントハンドラ１９０は、そのフラグを捕らえ、所定のプロセスを実行する。
【０１３０】
いくつかの実施形態では、イベント配信命令１８８は、イベントハンドラをアクティブ化せずにサブイベントについてのイベント情報を送達するサブイベント配信命令を含む。このサブイベント配信命令は、その代わりに、一連のサブイベントと関連付けられたイベントハンドラ、又はアクティブに関わりがあるビューに、イベント情報を送達する。一連のサブイベント又はアクティブに関わりがあるビューと関連付けられたイベントハンドラは、イベント情報を受信し、所定のプロセスを実行する。
【０１３１】
いくつかの実施形態では、データアップデーター１７６は、アプリケーション１３６−１で使用されるデータを作成及び更新する。例えば、データアップデーター１７６は、連絡先モジュール１３７で使用される電話番号を更新する、又はビデオ及び音楽プレーヤモジュール１５２で使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクトアップデーター１７７は、アプリケーション１３６−１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクトアップデーター１７７は、新たなユーザーインターフェースオブジェクトを作成する、又はユーザーインターフェースオブジェクトの位置を更新する。ＧＵＩアップデーター１７８は、ＧＵＩを更新する。例えば、ＧＵＩアップデーター１７８は、表示情報を準備し、この表示情報をタッチ感知ディスプレイ上に表示するためにグラフィックモジュール１３２に送信する。
【０１３２】
いくつかの実施形態では、イベントハンドラ（単数又は複数）１９０は、データアップデーター１７６、オブジェクトアップデーター１７７及びＧＵＩアップデーター１７８を含む、又はそれらへのアクセスを有する。いくつかの実施形態では、データアップデーター１７６、オブジェクトアップデーター１７７、及びＧＵＩアップデーター１７８は、それぞれのアプリケーション１３６−１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
【０１３３】
タッチ感知ディスプレイ上のユーザーのタッチのイベント処理に関する以上の説明は、その全てがタッチスクリーン上で開始されるとは限らない、入力デバイスを備える多機能デバイス１００を動作させるためのその他の形態のユーザー入力にも当てはまることを理解されたい。例えば、任意選択的に１回又は複数回のキーボードの押圧又は保持と連携したマウスの移動及びマウスボタンの押圧、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された眼球運動、バイオメトリック入力、並びに／又はそれらの任意の組合せを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
【０１３４】
図１Ｃは、いくつかの実施形態による触知出力モジュールを示すブロック図である。いくつかの実施形態では、Ｉ／Ｏサブシステム１０６（例えば触覚フィードバックコントローラ１６１（図１Ａ）及び／又はその他の入力コントローラ（単数又は複数）１６０（図１Ａ）は、図１Ｃに示す例示的な構成要素のうちの少なくともいくつかを含む。いくつかの実施形態では、周辺機器インターフェース１１８は、図１Ｃに示す例示的な構成要素のうちの少なくともいくつかを含む。
【０１３５】
いくつかの実施形態では、触知出力モジュールは、触覚フィードバックモジュール１３３を含む。いくつかの実施形態では、触覚フィードバックモジュール１３３は、電子デバイス上のソフトウェアアプリケーションからのユーザーインターフェースフィードバックのために触覚出力（例えば、表示されたユーザーインターフェースに対応するユーザー入力に応答するフィードバック、並びに電子デバイスのユーザーインターフェースの動作の性能又はイベントの発生を示す警告及びその他の通知）を集成し、結合する。触覚フィードバックモジュール１３３は、波形モジュール１２３（触知出力を生成するために使用される波形を提供する）、ミキサ１２５（異なるチャネルの波形など複数の波形を混合する）、圧縮機１２７（波形のダイナミックレンジを縮小又は圧縮する）、低域通過フィルタ１２９（波形の高周波信号成分をフィルタリングによって除去する）、及び熱コントローラ１３１（熱的条件にしたがって波形を調整する）のうちの１つ以上を含む。いくつかの実施形態では、触覚フィードバックモジュール１３３は、触覚フィードバックコントローラ１６１（図１Ａ）に含まれる。いくつかの実施形態では、触覚フィードバックモジュール１３３の別のユニット（又は触覚フィードバックモジュール１３３の別の実施態様）が、オーディオコントローラ（例えば図１Ａのオーディオ回路１１０）にも含まれ、オーディオ信号を生成するために使用される。いくつかの実施形態では、単一の触覚フィードバックモジュール１３３を使用して、オーディオ信号を生成し、触知出力の波形を生成する。
【０１３６】
いくつかの実施形態では、触覚フィードバックモジュール１３３は、トリガモジュール１２１（例えば、生成する触知出力を決定し、対応する触知出力を生成するプロセスを開始するソフトウェアアプリケーション、オペレーティングシステム、又はその他のソフトウェアモジュール）も含む。いくつかの実施形態では、トリガモジュール１２１は、（例えば波形モジュール１２３による）波形の生成を開始するトリガ信号を生成する。例えば、トリガモジュール１２１は、予め設定されたタイミング基準に基づいてトリガ信号を生成する。いくつかの実施形態では、トリガモジュール１２１は、触覚フィードバックモジュール１３３の外部からトリガ信号を受信し（例えば、いくつかの実施形態では、触覚フィードバックモジュール１３３は、触覚フィードバックモジュール１３３の外部に位置するハードウェア入力処理モジュール１４６からトリガ信号を受信する）、このトリガ信号を、触覚フィードバックモジュール１３３内の他の構成要素（例えば波形モジュール１２３）、又はユーザーインターフェース要素（例えばアプリケーション内のアプリケーションアイコン又はアフォーダンス）のアクティブ化に基づいて（例えばトリガモジュール１２１によって）動作をトリガするソフトウェアアプリケーション、又はハードウェア入力デバイス（例えばホームボタン又は強度感知タッチスクリーンなどの強度感知入力面）に中継する。いくつかの実施形態では、トリガモジュール１２１は、（例えば、図１Ａ及び図３の触覚フィードバックモジュール１３３から）触知フィードバック生成命令も受信する。いくつかの実施形態では、トリガモジュール１２１は、触覚フィードバックモジュール１３３（又は触覚フィードバックモジュール１３３内のトリガモジュール１２１）が（例えば図１Ａ及び図３の触覚フィードバックモジュール１３３から）触知フィードバック命令を受信したのに応答して、トリガ信号を生成する。
【０１３７】
波形モジュール１２３は、（例えばトリガモジュール１２１から）トリガ信号を入力として受信し、トリガ信号を受信したのに応答して、１つ以上の触知出力を生成するための波形（例えば、図４Ｆ〜図４Ｇを参照して以下で更に詳細に述べる波形など、波形モジュール１２３によって使用されるように指定された波形の所定のセットから選択された波形）を提供する。
【０１３８】
ミキサ１２５は、（例えば波形モジュール１２３から）入力として波形を受信し、これらの波形を混合する。例えば、ミキサ１２５が２つ以上の波形（例えば第１のチャネルの第１の波形及び第１の波形と少なくとも部分的に重なる第２のチャネルの第２の波形）を受信したときには、ミキサ１２５は、この２つ以上の波形の和に対応する合成波形を出力する。また、いくつかの実施形態では、ミキサ１２５は、（例えば、特定の波形（単数又は複数）のスケールを増大させ、かつ／又は残りの波形のスケールを低減させることによって）この２つ以上の波形のうちの１つ以上の波形を修正して、特定の波形（単数又は複数）を２つ以上の波形のうちの残りの波形より強調する。いくつかの状況では、ミキサ１２５は、合成波形から除去する１つ以上の波形を選択する（例えば、触知出力生成器１６７によって同時に出力されることが要求されている４つ以上のソースからの波形があるときには、最も古いソースの波形を除去する）。
【０１３９】
圧縮機１２７は、波形（例えばミキサ１２５からの合成波形）を入力として受信し、これらの波形を修正する。いくつかの実施形態では、圧縮機１２７は、波形に対応する触知出力が減少するように、（例えば触知出力生成器１６７（図１Ａ）又は３５７（図３）の物理的仕様にしたがって）波形を減少させる。いくつかの実施形態では、圧縮機１２７は、波形に対して所定の最大振幅を課すことなどによって、波形を制限する。例えば、圧縮機１２７は、所定の振幅閾値を超えない波形部分の振幅を維持する一方で、所定の振幅閾値を超える波形部分の振幅を減少させる。いくつかの実施形態では、圧縮機１２７は、波形のダイナミックレンジを減少させる。いくつかの実施形態では、圧縮機１２７は、合成波形が触知出力生成器１６７の性能仕様（例えば、力及び／又は可動質量変位の限界）内に留まるように、波形のダイナミックレンジを動的に減少させる。
【０１４０】
低域通過フィルタ１２９は、波形（例えば圧縮機１２７からの圧縮波形）を入力として受信し、これらの波形をフィルタリング（例えば平滑化）する（例えば、波形の高周波信号成分を除去又は低減する）。例えば、いくつかの場合には、圧縮機１２７は、圧縮波形中に、触知出力の生成を妨害し、かつ／又は圧縮波形にしたがって触知出力を生成したときに触知出力生成器１６７の性能仕様を超える外来信号（例えば高周波信号成分）を含む。低域通過フィルタ１２９は、波形中のこのような外来信号を低減又は除去する。
【０１４１】
熱コントローラ１３１は、波形（例えば、低域通過フィルタ１２９からのフィルタリングされた波形）を入力として受信し、これらの波形を、デバイス１００の熱的条件にしたがって（例えば、触覚フィードバックコントローラ１６１の温度などデバイス１００内で検出される内部温度、及び／又はデバイス１００によって検出される外部温度に基づいて）調整する。例えば、いくつかの場合には、触覚フィードバックコントローラ１６１の出力は、温度に応じて変化する（例えば、触覚フィードバックコントローラ１６１は、同じ波形を受信したのに応答して、触覚フィードバックコントローラ１６１が第１の温度であるときには第１の触知出力を生成し、触覚フィードバックコントローラ１６１が第１の温度とは別個の第２の温度であるときには第２の触知出力を生成する）。例えば、触知出力の大きさ（又は振幅）は、温度に応じて変化することもある。温度変化の影響を低下させるために、波形を修正する（例えば、波形の振幅を、温度に基づいて増大又は減少させる）。
【０１４２】
いくつかの実施形態では、触覚フィードバックモジュール１３３（例えばトリガモジュール１２１）は、ハードウェア入力処理モジュール１４６に結合される。いくつかの実施形態では、図１Ａの他の入力コントローラ（単数又は複数）１６０が、ハードウェア入力処理モジュール１４６を含む。いくつかの実施形態では、ハードウェア入力処理モジュール１４６は、ハードウェア入力デバイス１４５（例えば、ホームボタン、又は強度感知タッチスクリーンなどの強度感知入力面など、図１Ａの他の入力又は制御デバイス１１６）から入力を受信する。いくつかの実施形態では、ハードウェア入力デバイス１４５は、タッチ感知ディスプレイシステム１１２（図１Ａ）、キーボード／マウス３５０（図３）、タッチパッド３５５（図３）、他の入力若しくは制御デバイス１１６（図１Ａ）のうちの１つ、又は強度感知ホームボタンなど、本明細書に記載する任意の入力デバイスである。いくつかの実施形態では、ハードウェア入力デバイス１４５は、タッチ感知ディスプレイシステム１１２（図１Ａ）、キーボード／マウス３５０（図３）、又はタッチパッド３５５（図３）ではなく、強度感知ホームボタンからなる。いくつかの実施形態では、ハードウェア入力デバイス１４５（例えば強度感知ホームボタン又はタッチスクリーン）からの入力に応答して、ハードウェア入力処理モジュール１４６は、ホームボタンの「クリック」（例えば「ダウンクリック」又は「アップクリック」）に対応する入力など、所定の入力基準を満たすユーザー入力が検出されたことを示す１つ以上のトリガ信号を、触覚フィードバックモジュール１３３に提供する。いくつかの実施形態では、触覚フィードバックモジュール１３３は、ホームボタンの「クリック」に対応する入力に応答して、ホームボタンの「クリック」に対応する波形を提供して、物理ホームボタンを押す触覚フィードバックをシミュレートする。
【０１４３】
いくつかの実施形態では、触覚出力モジュールは、触知出力の生成を制御する触覚フィードバックコントローラ１６１（例えば図１Ａの触覚フィードバックコントローラ１６１）を含む。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、複数の触知出力生成器に結合され、この複数の触知出力生成器のうちの１つ以上の触知出力生成器を選択し、選択した１つ以上の触知出力生成器に波形を送信して、触知出力を生成する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、ハードウェア入力デバイス１４５のアクティブ化に対応する触知出力要求、及びソフトウェアイベントに対応する触知出力要求（例えば触覚フィードバックモジュール１３３からの触知出力要求）を調整し、（例えば、特定の波形（単数又は複数）のスケールを増大させ、かつ／又は残りの波形のスケールを低減させて、ハードウェア入力デバイス１４５のアクティブ化に対応する触知出力をソフトウェアイベントに対応する触知出力よりも優先することなどによって）２つ以上の波形のうちの１つ以上の波形を修正して、特定の波形（単数又は複数）を２つ以上の波形のうちの残りの波形より強調する。
【０１４４】
いくつかの実施形態では、図１Ｃに示すように、触覚フィードバックコントローラ１６１の出力は、デバイス１００のオーディオ回路（例えば図１Ａのオーディオ回路１１０）に結合され、デバイス１００のオーディオ回路にオーディオ信号を提供する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、触知出力を生成するために使用される波形と、触知出力の生成に関連して音声出力を提供するために使用されるオーディオ信号の両方を提供する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、オーディオ信号及び／又は（触知出力を生成するために使用される）波形を、（例えばオーディオ信号及び／又は波形を遅延させることによって）音声出力及び触知出力が同期するように修正する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、デジタル波形を、増幅器１６３及び／又は触知出力生成器１６７によって受信されるアナログ信号に変換するために使用される、デジタルアナログ変換器を含む。
【０１４５】
いくつかの実施形態では、触知出力モジュールは、増幅器１６３を含む。いくつかの実施形態では、増幅器１６３は、（例えば触覚フィードバックコントローラ１６１から）波形を受信し、これらの波形を増幅した後で、これらの増幅した波形を触知出力生成器１６７（例えば触知出力生成器１６７（図１Ａ）又は３５７（図３））に送信する。例えば、増幅器１６３は、受信した波形を、触知出力生成器１６７の物理的仕様に応じた信号レベルに増幅し（例えば、触知出力生成器１６７に送信される信号が触覚フィードバックコントローラ１６１から受信した波形に対応する触知出力を生成するように、触知出力を生成する触知出力生成器１６７が必要とする電圧及び／又は電流に増幅し）、この増幅した波形を触知出力生成器１６７に送信する。これに応答して、触知出力生成器１６７は、（例えば、可動質量をその可動質量の中立位置を基準として１つ以上の方向に往復させることによって）触覚出力を生成する。
【０１４６】
いくつかの実施形態では、触知出力モジュールは、触知出力生成器１６７に結合されたセンサ１６９を含む。センサ１６９は、触知出力生成器１６７又は触知出力生成器１６７の１つ以上の構成要素（例えば、触覚出力を生成するために使用される膜などの１つ以上の可動部）の状態又は状態変化（例えば、機械的位置、物理的変位、及び／又は移動）を検出する。いくつかの実施形態では、センサ１６９は、磁場センサ（例えばホール効果センサ）、又はその他の変位及び／若しくは移動センサである。いくつかの実施形態では、センサ１６９は、触覚フィードバックコントローラ１６１に情報（例えば触知出力生成器１６７の１つ以上の部分の位置、変位、及び／又は移動）を提供し、触覚フィードバックコントローラ１６１は、センサ１６９から提供される触知出力生成器１６７の状態に関する情報にしたがって、触覚フィードバックコントローラ１６１から出力される波形（例えば、任意選択的に増幅器１６３を介して触知出力生成器１６７に送信される波形）を調整する。
【０１４７】
図２は、いくつかの実施形態による、タッチスクリーン（例えば図１Ａのタッチ感知ディスプレイシステム１１２）を有するポータブル多機能デバイス１００を示す図である。タッチスクリーンは、任意選択的に、ユーザーインターフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを表示する。これらの実施形態、並びに以下で述べるその他の実施形態では、ユーザーは、例えば、１本以上の指２０２（図では一定の縮尺では描かれていない）又は１つ以上のスタイラス２０３（図では一定の縮尺では描かれていない）によってグラフィック上でジェスチャを行うことによってグラフィックのうちの１つ以上を選択することができる。いくつかの実施形態では、１つ以上のグラフィックの選択は、ユーザーがその１つ以上のグラフィックとの接触を断ったときに行われる。いくつかの実施形態では、ジェスチャは、任意選択的に、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上方向へ、及び／又は下方向へ）、及び／又はデバイス１００と接触している指のローリング（右から左へ、左から右へ、上方向へ、及び／又は下方向へ）を含む。いくつかの実装形態又は状況では、グラフィックとの不慮の接触では、グラフィックは選択されない。例えば、選択に対応するジェスチャがタップであるときには、アプリケーションアイコンの上をスイープするスワイプジェスチャでは、任意選択的に、対応するアプリケーションは選択されない。
【０１４８】
また、デバイス１００は、任意選択的に、「ホーム」又はメニューボタン２０４などの１つ以上の物理ボタンも含む。前述のように、メニューボタン２０４は、任意選択的に、デバイス１００上で任意選択的に実行されるアプリケーションのセット内の任意のアプリケーション１３６にナビゲートするために使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーンディスプレイに表示されるＧＵＩ内のソフトキーとして実装される。
【０１４９】
いくつかの実施形態では、デバイス１００は、タッチスクリーンディスプレイ、メニューボタン２０４（ホームボタン２０４と呼ばれることもある）、デバイスの電源オン／オフ及びデバイスのロックのためのプッシュボタン２０６、ボリューム調節ボタン（単数又は複数）２０８、加入者識別モジュール（Subscriber Identity Module、ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、並びにドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、所定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン／オフするため、ボタンを押し下げて、所定の期間が経過する前にボタンを解放することによって、デバイスをロックするため、及び／又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。また、いくつかの実施形態では、デバイス１００は、マイクロフォン１１３を通して、いくつかの機能をアクティブ化又は非アクティブ化するための口頭入力を受け付ける。また、デバイス１００は、任意選択的に、タッチ感知ディスプレイシステム１１２上の接触の強度を検出する１つ以上の接触強度センサ１６５、及び／又はデバイス１００のユーザーに対する触知出力を生成する１つ以上の触知出力生成器１６７も含む。
【０１５０】
図３は、いくつかの実施形態による、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育用デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、一般的には、１つ以上の処理ユニット（ＣＰＵ）３１０と、１つ以上のネットワーク又は他の通信インターフェース３６０と、メモリ３７０と、これらのコンポーネントを相互接続する１つ以上の通信バス３２０とを含む。通信バス３２０は、システムコンポーネント間の通信を相互接続及び制御する回路（チップセットと呼ばれることがある）を、任意選択的に含む。デバイス３００は、一般的にはタッチスクリーンディスプレイであるディスプレイ３４０を含む、入出力（Ｉ／Ｏ）インターフェース３３０を含む。Ｉ／Ｏインターフェース３３０はまた任意選択で、キーボード及び／又はマウス（又は、他のポインティングデバイス）３５０、並びにタッチパッド３５５、デバイス３００上で触知出力を生成する触知出力生成器３５７（例えば、図１Ａを参照して上記説明された触知出力生成器１６７と同様の）、センサ３５９（例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び／又は図１Ａを参照して上記説明された接触強度センサ１６５と同様の接触強度センサ）を含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ  ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、また任意選択で、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３７０は、ＣＰＵ３１０からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２に記憶されたプログラム、モジュール、及びデータ構造、又はそれらのサブセットに類似の、プログラム、モジュール、及びデータ構造を記憶する。更に、メモリ３７０は任意選択で、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は任意選択で、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を記憶するが、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は任意選択で、それらのモジュールを記憶しない。
【０１５１】
上記識別された図３における要素の各々は任意選択で、前に言及したメモリデバイスのうちの１つ以上に記憶される。上記識別されたモジュールのうちの各々は、上記説明された機能を実行する命令セットに対応する。上記識別されたモジュール又はプログラム（すなわち、命令セット）は、別々のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、よって、それらのモジュールの様々なサブセットは任意選択で、様々な実施形態において組み合わされ、又はその他の方式で再配置される。いくつかの実施形態では、メモリ３７０は、上記で識別されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
【０１５２】
ここで、ポータブル多機能デバイス１００上に任意選択で実装されるユーザーインターフェース（「ＵＩ」）の実施形態に留意する。
【０１５３】
図４Ａは、いくつかの実施形態による、ポータブル多機能デバイス１００上のアプリケーションのメニューのための例示的なユーザーインターフェース４００を示す。同様のユーザーインターフェースは、デバイス３００上に任意選択的に実装される。いくつかの実施形態では、ユーザーインターフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びＷｉ−Ｆｉ信号などの無線通信のための信号強度インジケータ、
●時間、
●Ｂｌｕｅｔｏｏｔｈインジケータ、
●バッテリ状態インジケータ、
●下記などの、頻繁に使用されるアプリケーションのためのアイコンを有するトレー４０８：
○不在着信又は音声メールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされる、電話モジュール１３８用のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされる、電子メールクライアントモジュール１４０用のアイコン４１８、
○「ブラウザ」とラベル付けされる、ブラウザモジュール１４７用のアイコン４２０、及び
○「音楽」とラベル付けされるビデオ及び音楽プレイヤモジュール１５２のためのアイコン４２２、並びに
●下記などの、その他のアプリケーションのためのアイコン：
○「メッセージ」とラベル付けされるＩＭモジュール１４１のためのアイコン４２４、
○「カレンダ」とラベル付けされる、カレンダモジュール１４８用のアイコン４２６、
○「写真」とラベル付けされる、画像管理モジュール１４４用のアイコン４２８、
○「カメラ」とラベル付けされる、カメラモジュール１４３用のアイコン４３０、
○「オンラインビデオ」とラベル付けされる、オンラインビデオモジュール１５５用のアイコン４３２、
○「株式」とラベル付けされる、株式ウィジェット１４９−２用のアイコン４３４、
○「地図」とラベル付けされる、地図モジュール１５４用のアイコン４３６、
○「気象」とラベル付けされる、気象ウィジェット１４９−１用のアイコン４３８、
○「時計」とラベル付けされる、目覚まし時計ウィジェット１４９−４用のアイコン４４０、
○「トレーニングサポート」とラベル付けされる、トレーニングサポートモジュール１４２用のアイコン４４２、
○「メモ」とラベル付けされる、メモモジュール１５３用のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６に関する設定へのアクセスを提供する、設定アプリケーション若しくはモジュール用のアイコン４４６。
【０１５４】
図４Ａに表示されたアイコンのラベルは単なる例に過ぎないことに留意されたい。例えば、他のラベルが任意選択で、様々なアプリケーションアイコンに使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンのラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
【０１５５】
図４Ｂは、ディスプレイ４５０と分離したタッチ感知面４５１（例えば、タブレット又はタッチパッド３５５、図３）を有するデバイス（例えば、デバイス３００、図３）上の例示的なユーザーインターフェースを示す。以下の実施例のうちの多くはタッチスクリーンディスプレイ１１２上の入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して与えられるが、いくつかの実施形態では、デバイスは、図４Ｂに示すように、ディスプレイと分離したタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂにおける４５１）は、ディスプレイ（例えば、４５０）上の主軸（例えば、図４Ｂにおける４５３）に対応する主軸（例えば、図４Ｂにおける４５２）を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置（例えば、図４Ｂにおいて、４６０は４６８に対応し、４６２は４７０に対応する）におけるタッチ感知面４５１との接触（例えば、図４Ｂにおける４６０及び４６２）を検出する。このように、タッチ感知面がディスプレイと分離しているとき、タッチ感知面（例えば、図４Ｂにおける４５１）上でデバイスによって検出されたユーザー入力（例えば、接触４６０及び４６２、及びそれらの移動）は、多機能デバイスのディスプレイ（例えば、図４Ｂにおける４５０）上でユーザーインターフェースを操作するためにデバイスによって使用される。同様の方法が、本明細書に記載の他のユーザーインターフェースに任意選択的に使用されることを理解されたい。
【０１５６】
これに加えて、以下の説明は、主に指入力（例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャなど）を参照して説明されるが、いくつかの実施形態では、それらの指入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスに基づく入力又はスタイラス入力）で置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、マウスクリックと置き換えられ（例えば、接触の代わりに）、それに続いて、スワイプの経路に沿ってカーソルの移動が行われる（例えば、接触の移動の代わりに）。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置の上に位置する間はマウスクリックと置き換えられる（例えば、接触を検出して、それに続いて接触の検出を停止する代わりに）。同様に、複数のユーザー入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、又はマウス及び指の接触が、任意選択的に、同時に使用されることを理解されたい。
【０１５７】
本明細書にて使用されるとき、用語「フォーカスセレクタ」とは、ユーザーが対話しているユーザーインターフェースの現在の部分を示す入力要素を指す。カーソル又は他のロケーションマーカを含むいくつかの実装形態において、カーソルは「フォーカスセレクタ」として機能し、これにより、カーソルが特定のユーザーインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザーインターフェース要素）の上にある間に、タッチ感知面（例えば、図３のタッチパッド３５５、又は図４Ｂのタッチ感知面４５１）上で入力（例えば、押圧入力）が検出されると、この特定のユーザーインターフェース要素が、検出された入力にしたがって調整される。タッチスクリーンディスプレイ上のユーザーインターフェース要素との直接的な対話を可能にする、タッチスクリーンディスプレイ（例えば、図１Ａのタッチ感知ディスプレイシステム１１２、又は図６Ａのタッチスクリーン）を含むいくつかの実装形態では、タッチスクリーン上で検出された接触が「フォーカスセレクタ」として機能し、これにより、タッチスクリーンディスプレイ上の特定のユーザーインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザーインターフェース要素）の場所で入力（例えば、接触による押圧入力）が検出されると、この特定のユーザーインターフェース要素が、検出された入力にしたがって調節される。いくつかの実装形態では、（例えば、タブキー又は矢印キーを使用してフォーカスを１つのボタンから別のボタンに移動させることによって）タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、フォーカスがユーザーインターフェースの１つの領域からユーザーインターフェースの別の領域に移動され、これらの実装形態では、フォーカスセレクタは、ユーザーインターフェースの異なる領域の間のフォーカスの移動にしたがって移動する。フォーカスセレクタによってとられる具体的な形態とは関わりなく、フォーカスセレクタは一般的に、ユーザーの意図したユーザーインターフェースとの対話を通信するために（例えば、ユーザーが対話することを意図しているユーザーインターフェースの要素をデバイスに示すことによって）、ユーザーによって制御されるユーザーインターフェース要素（又は、タッチスクリーンディスプレイ上の接触）である。例えば、押圧入力がタッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で検出されたときに、対応するボタンの上にあるフォーカスセレクタ（例えば、カーソル、接触又は選択ボックス）の位置は、（デバイスのディスプレイ上に表示されている他のユーザーインターフェース要素ではなく）対応するボタンをユーザーがアクティブ化しようとしていることを示すものである。
【０１５８】
本明細書及び特許請求の範囲で使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指の接触又はスタイラスの接触）の力若しくは圧力（単位面積当りの力）、又はタッチ感知面上の接触の力若しくは圧力の代替するもの（プロキシ）を指す。接触の強度は、少なくとも４つの異なる値を含み、より典型的には、何百もの（例えば、少なくとも２５６個の）異なる値を含む値範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組合せを使用して判定（又は、測定）される。例えば、タッチ感知面の下に又はこれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々な点における力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値は、推定される接触の力を判定するために組み合わされる（例えば、加重平均又は合計）。同様に、タッチ感知面上のスタイラスの圧力を判定するために、スタイラスの圧力感知チップが、任意選択的に用いられる。あるいは、タッチ感知面上で検出される接触領域のサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化が、タッチ感知面上の接触の力又は圧力の代替物として、任意選択的に用いられる。いくつかの実装形態では、接触の力又は圧力に対する代替的測定値は、強度閾値を超えているかを判定するために直接使用される（例えば、強度閾値は、代替的測定値に対応する単位で記述される）。いくつかの実装形態では、接触の力又は圧力に対する代替的測定値は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超えているかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定された圧力閾値である）。接触の強度をユーザー入力の属性として使用することは、アフォーダンスを（例えば、タッチ感知ディスプレイ上に）表示するため、及び／又はユーザー入力を（例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタンなどの物理的／機械的制御を介して）受信する面積が制限された、低減されたサイズのデバイスにおいて、ユーザーによるアクセスが他の場合に容易には不可能であり得る、追加のデバイス機能へのユーザーのアクセスを可能にする。
【０１５９】
いくつかの実施形態では、接触／動きモジュール１３０は、ユーザーによって操作が実行されたか否かを判定するための（例えば、ユーザーがアイコン上で「クリック」したか否かを判定するための）、１つ以上の強度閾値のセットを使用する。いくつかの実施形態では、少なくとも強度閾値のサブセットは、ソフトウェアパラメータにしたがって決定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって決定されず、デバイス１００の物理ハードウェアを変更することなく調節されてもよい）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく、広範囲の所定の閾値のうちのいずれかに設定することができる。加えて、いくつかの実装形態では、デバイスのユーザーは、強度閾値の組のうちの１つ以上を調節するソフトウェア設定が提供される（例えば、個々の強度閾値を調節することによって、及び／又はシステムレベルのクリック「強度」パラメータで一度に複数の強度閾値を調節することによって）。
【０１６０】
本明細書及び特許請求の範囲で使用されるとき、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、所定の数の強度サンプル、あるいは所定のイベント（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終わりを検出する前、接触の強度の増加を検出する前若しくは後、及び／又は接触の強度の減少を検出する前若しくは後）に対する予め定められた時間期間の間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）に収集された強度サンプルの組に基づく。接触の特性強度は任意選択で、接触の強度の最大値、接触の強度の平均値（mean value）、接触の強度の平均値（average value）、接触の強度の上位１０％値、接触の強度の最大値の半分の値、接触の強度の最大値の９０％の値、所定の期間にわたって、又は所定の時間において開始した接触の強度を低域通過フィルタリングすることによって生成された値などのうちの１つ以上に基づく。いくつかの実施形態では、特性強度を決定するために、（例えば、特性強度が経時的な接触の強度の平均であるとき）接触の持続期間が使用される。いくつかの実施形態では、操作がユーザーによって実行されたか否かを判定するために、特性強度を１つ以上の強度閾値のセットと比較する。例えば、１つ以上の強度閾値のセットは、第１の強度閾値及び第２の強度閾値を含むことができる。この実施例では、第１の閾値を上回らない特性強度との接触の結果として第１の操作が実行され、第１の強度閾値を上回り第２の強度閾値を上回らない特性強度との接触の結果として第２の操作が実行され、第２の強度閾値を上回る特性強度との接触の結果として第３の操作が実行される。いくつかの実施形態では、特性強度と１つ以上の強度閾値との間の比較が、第１の操作又は第２の操作のいずれを実行するかを決定するために使用されるのではなく、１つ以上の操作を実行するかどうか（例えば、それぞれのオプションを実行するのか、又はそれぞれの操作の実行を取り止めるのか）を決定するために使用される。
【０１６１】
いくつかの実施形態では、ジェスチャの一部は、特性強度を決定する目的で識別される。例えば、タッチ感知面は、開始場所から遷移して終了場所まで達する連続的なスワイプ接触（例えば、ドラッグジェスチャ）を受け取る場合があり、この終了場所で接触の強度が増加する。この実施例では、終了場所における接触の特性強度は、連続的なスワイプ接触全体ではなく、そのスワイプ接触の一部分のみ（例えば、スワイプ接触の終了場所における部分のみ）に基づいてもよい。いくつかの実施形態では、接触の特性強度を決定する前に、平滑化アルゴリズムをそのスワイプ接触の強度に適用してもよい。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を決定する目的で、スワイプ接触の強度の小幅な上昇又は低下を除外する。
【０１６２】
本明細書で説明されるユーザーインターフェースの図は任意選択で、１つ以上の強度閾値（例えば、接触検出強度閾値ＩＴ０、軽い押圧強度閾値ＩＴＬ、深い押圧強度閾値ＩＴＤ（例えば、少なくとも最初はＩＴＬよりも高い）、及び／又は１つ以上の他の強度閾値（例えば、ＩＴＬよりも低い強度閾値ＩＴＨ））に対する、タッチ感知面上の接触の現在の強度を示す、様々な強度の図を含む。この強度の図は、概して示されたユーザーインターフェースの一部ではなくて、図の解釈を支援するために提供される。いくつかの実施形態では、軽い押圧強度閾値は、物理マウスのボタン又はトラックパッドのクリックに通常は関連付けられた操作をデバイスが実行する強度に相当する。いくつかの実施形態では、深い押圧強度閾値は、物理マウスのボタン又はトラックパッドのクリックに通常は関連付けられた操作とは異なる操作をデバイスが実行する強度に相当する。いくつかの実施形態では、軽い押圧強度閾値を下回る（例えば、それを下回ると接触がもはや検出されない名目上の接触検出強度閾値ＩＴ０を上回る）特性強度で接触が検出されるとき、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値と関連付けられた操作を実行することなく、タッチ感知面上の接触の移動にしたがってフォーカスセレクタを移動させる。概して、特に明記されない限り、これらの強度閾値は、ユーザーインターフェースの形態の異なるセットの間で一貫している。
【０１６３】
いくつかの実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力の間の接触強度に基づく基準に依存する。例えば、いくつかの「軽い押圧」入力について、入力の間の第１の強度閾値を超える接触の強度は第１の応答をトリガする。いくつかの実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力の間の接触強度及び時間に基づく基準の両方を含む基準に依存する。例えば、いくつかの「深い押圧」入力について、入力の間の軽い押圧に対する第１の強度閾値より大きい第２の強度閾値を超える接触の強度は、第１の強度閾値を満たすことと第２の強度閾値を満たすこととの間で遅延時間が経過した場合のみ、第２の応答をトリガする。この遅延時間は典型的には、継続時間が２００ｍｓ（ミリ秒）よりも短い（例えば、第２の強度閾値の大きさに依存して、４０ｍｓ、１００ｍｓ、又は１２０ｍｓであり、遅延時間は第２の強度閾値が増加するにつれて増加する）。この遅延時間は、深い押圧入力の偶発的な認識を回避するのを助ける。別の実施例として、いくつかの「深い押圧」について、第１の強度閾値が満たされる時間の後に発生する、感度が低下した時間期間が存在する。感度が低下した時間期間の間、第２の強度閾値は増加する。第２の強度閾値のこの一時的な増加もまた、偶発的な深い押圧入力を回避するのを助ける。他の深い押圧入力について、深い押圧入力の検出に対する応答は、時間に基づく基準に依存しない。
【０１６４】
いくつかの実施形態では、入力強度閾値及び／又は対応する出力のうちの１つ以上は、ユーザー設定、接触の動き、入力タイミング、実行しているアプリケーション、強度が加わる速度、同時に行われる入力の数、ユーザー履歴、環境要因（例えば、周囲ノイズ）、フォーカスセレクタの位置などの１つ以上の要因に基づいて変化する。例示的な要因が、米国特許出願第１４／３９９，６０６号及び第１４／６２４，２９６号に記載されており、それらの全体が参照により本明細書に組み込まれている。
【０１６５】
例えば、図４Ｃは、経時的なタッチ入力４７６の強度に部分的に基づいて経時的に変化する動的強度閾値４８０を示す。動的強度閾値４８０は、２つの成分、タッチ入力４７６が最初に検出されるときから所定の遅延時間ｐ１の後に経時的に減衰する第１の成分４７４、及び経時的にタッチ入力４７６の強度を追跡する第２の成分４７８の合計である。第１の成分４７４の初期の高強度閾値は、「深い押圧」応答を偶発的にトリガすることを削減すると共に、タッチ入力４７６が十分な強度を提供する場合に即時的な「深い押圧」応答をなおも可能にする。第２の成分４７８は、タッチ入力における段階的な強度変動によって「深い押圧」応答を意図せずにトリガすることを削減する。いくつかの実施形態では、タッチ入力４７６が動的強度閾値４８０を満たすとき（例えば、図４Ｃのポイント４８１において）、「深い押圧」応答がトリガされる。
【０１６６】
図４Ｄは、別の動的強度閾値４８６（例えば、強度閾値ＩＤ）を示す。図４Ｄはまた、２つの他の強度閾値、第１の強度閾値ＩＴＨ及び第２の強度閾値ＩＬを示す。図４Ｄにおいて、タッチ入力４８４が時間ｐ２の前に第１の強度閾値ＩＴＨ及び第２の強度閾値ＩＴＬを満たすが、時間４８２において遅延時間ｐ２が経過するまでは応答が提供されない。また、図４Ｄでは、動的強度閾値４８６は、所定の遅延時間ｐ１が時間４８２から経過した後（第２の強度閾値ＩＴＬと関連付けられた応答がトリガされたとき）の時間４８８において開始する減衰で、経時的に減衰する。このタイプの動的強度閾値は、第１の強度閾値ＩＨ又は第２の強度閾値ＩＬなど、より低い強度閾値と関連付けられた応答をトリガした直後、又はそれと同時に動的強度閾値ＩＤと関連付けられた応答を偶発的にトリガすることを削減する。
【０１６７】
図４Ｅは、更なる別の動的強度閾値４９２（例えば、強度閾値ＩＤ）を示す。図４Ｅにおいて、強度閾値ＩＴＬと関連付けられた応答は、タッチ入力４９０が最初に検出されるときから遅延時間ｐ２が経過した後にトリガされる。同時に、動的強度閾値４９２は、タッチ入力４９０が最初に検出されるときから所定の遅延時間ｐ１が経過した後に減衰する。よって、タッチ入力４９０を解放することなく、強度閾値ＩＬと関連付けられた応答をトリガした後のタッチ入力４９０の強度の減少と、その後に続くタッチ入力４９０の強度における増加は、タッチ入力４９０の強度が別の強度閾値、例えば、強度閾値ＩＬを下回るときでさえ強度閾値ＩＴＤと関連付けられた応答をトリガすることができる（例えば、時間４９４において）。
【０１６８】
軽い押圧強度閾値ＩＴＬを下回る強度から軽い押圧強度閾値ＩＴＬと深い押圧強度閾値ＩＴＤとの間の強度への接触の特性強度の増加は、「軽い押圧」入力と称される場合がある。深い押圧強度閾値ＩＴＤを下回る強度から深い押圧強度閾値ＩＴＤを上回る強度への接触の特性強度の増加は、「深い押圧」入力と称される場合がある。接触検出強度閾値ＩＴ０を下回る強度から接触検出強度閾値ＩＴ０と軽い押圧強度閾値ＩＴＬとの間の強度への接触の特性強度の増加は、タッチ面上の接触の検出と称される場合がある。接触検出強度閾値ＩＴ０を上回る強度から接触検出強度閾値ＩＴ０を下回る強度への接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と称される場合がある。いくつかの実施形態では、ＩＴ０はゼロである。いくつかの実施形態では、ＩＴ０はゼロよりも大きい。いくつかの図では、タッチ感知面上の接触の強度を表すために、影付きの円又は楕円が使用される。いくつかの図では、それぞれの接触の強度を指定することなく、タッチ感知面上のそれぞれの接触を表すために、影なしの円又は楕円が使用される。
【０１６９】
本明細書で説明されるいくつかの実施形態では、１つ以上の操作は、それぞれの押圧入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（若しくは、複数の接触）で実行されるそれぞれの押圧入力を検出したことに応じて実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触（又は、複数の接触）の強度における増加を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの操作は、押圧入力強度閾値を上回るそれぞれの接触の強度における増加を検出したことに応じて実行される（例えば、それぞれの操作は、それぞれの押圧入力の「ダウンストローク」上で実行される）。いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度における増加、及び押圧入力強度閾値を下回る接触の強度におけるその後の減少を含み、それぞれの操作は、押圧入力閾値を下回るそれぞれの接触の強度におけるその後の減少を検出したことに応じて実行される（例えば、それぞれの操作は、それぞれの押圧入力の「アップストローク」上で実行される）。
【０１７０】
いくつかの実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との所定の関係を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりも低いＸ強度単位であり、又はヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％、若しくは何らかの妥当な比率である）。よって、いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度における増加、及び押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度におけるその後の減少を含み、それぞれの操作は、ヒステリシス強度閾値を下回るそれぞれの接触の強度におけるその後の減少を検出したことに応じて実行される（例えば、それぞれの操作は、それぞれの押圧入力の「アップストローク」上で実行される）。同様に、いくつかの実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増加、及び任意選択的に、ヒステリシス強度以下の強度への後続の接触の強度の減少を検出するときのみ検出され、それぞれの操作は、その押圧入力の検出（例えば、状況に応じて、接触の強度の増加、又は接触の強度の減少）に応じて実行される。
【０１７１】
説明を容易にするために、押圧入力強度閾値と関連付けられた押圧入力に応じて、又は押圧入力を含むジェスチャに応じて実行される操作の説明は任意選択で、押圧入力強度閾値を上回る接触の強度の増加、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増加、押圧入力強度閾値を下回る接触の強度の減少、又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じてトリガされる。加えて、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて操作が実行されるとして説明される実施例では、操作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。上記説明されたように、いくつかの実施形態では、それらの応答のトリガはまた、満たされる時間に基づく基準（例えば、ある遅延時間が、第１の強度閾値が満たされることと第２の強度閾値が満たされることとの間で経過してしまっている）に依存する。
【０１７２】
本明細書及び特許請求の範囲で使用されるとき、用語「触知出力」は、ユーザーの触覚でユーザーによって検出されることになる、デバイスの従前の位置に対するデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、デバイスの別の構成要素（例えば、筐体）に対する物理的変位、又はデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザーの表面（例えば、ユーザーの指、手のひら、又は手の他の部分）に接触している状況において、物理的変位によって生成された触知出力は、デバイス又はデバイスの構成要素の物理的特性の認識された変化に相当する触感として、ユーザーによって解釈される。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、任意選択的に、ユーザーによって物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」と解釈される。いくつかの場合、ユーザーの移動により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がない時でさえ、ユーザーは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の実施例として、タッチ感知面の動きは、タッチ感知面の平滑度に変化がない場合であっても、ユーザーによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザーによるタッチの解釈は、ユーザーの個人的な感覚認知に左右されるが、大多数のユーザーに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザーの特定の感覚認知（例えば、「アップクリック」、「ダウンクリック」、「粗さ」）に対応するものとして説明されるとき、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザーの説明された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。触覚フィードバックをユーザーに提供するために触知出力を使用することは、デバイスの操作性を高め、ユーザーデバイスインターフェースを更に効率的にし（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
【０１７３】
いくつかの実施形態では、触知出力パターンは、触知出力の振幅、触知出力の移動波形の形状、触知出力の周波数、及び／又は触知出力の期間などの触知出力の特性を指定する。
【０１７４】
異なる触知出力パターンを有する触知出力がデバイスによって（例えば、触知出力を生成するために可動質量を移動させる１つ以上の触知出力生成器を介して）生成されるとき、触知出力は、デバイスを保持又はタッチするユーザーに異なる触覚感覚を引き起こすことができる。ユーザーの感覚が触知出力のユーザーの知覚に基づく一方で、ほとんどのユーザーは、デバイスによって生成される触知出力の波形、周波数及び振幅の変化を識別することが可能である。したがって、波形、周波数及び振幅は、異なる操作が実行されたことをユーザーに知らせるように調整することができる。このようにして、所与の環境（例えば、グラフィカルな特徴及びオブジェクトを含むユーザーインターフェース、仮想境界及び仮想オブジェクトを有する擬似的な物理環境、物理境界及び物理オブジェクトを有する現実の物理環境、並びに／又は上記のいずれかの組合せ）におけるオブジェクトの、特性（例えば、サイズ、材質、重量、剛性、平滑度など）、挙動（例えば、振動、変位、加速、回転、拡大など）、及び／又は対話（例えば、衝突、付着、反発、引き付け、摩擦など）をシミュレートするように設計、選択、及び／又は加工された触知出力パターンを有する触知出力は、いくつかの状況では、デバイスのユーザーの操作の入力誤りを削減して効率性を増大させる、有益なフィードバックをユーザーに提供する。加えて、擬似的な物理的特性（例えばオブジェクトの入力された出発点又は選択）とは無関係であるフィードバックに対応するために、触知出力は、任意選択的に、発生する。そのような触知出力は、いくつかの状況では、ユーザーのデバイス操作の入力誤りを削減し、効率性を増大させる有益なフィードバックをユーザーに提供する。
【０１７５】
いくつかの実施形態では、適切な触知出力パターンを有する触知出力は、ユーザーインターフェース内又はデバイス内のシーンの背後の関心イベントの発生に対する合図としての役割を果たす。関心イベントの例は、デバイス上又はユーザーインターフェース内で提供されるアフォーダンス（例えば、実ボタン、仮想ボタン、又はトグルスイッチ）のアクティブ化、要求された操作の成功又は失敗、ユーザーインターフェース内の境界に到達すること又は超えること、新たな状態に入ること、オブジェクト間の入力の焦点を切り替えること、新たなモードのアクティブ化、入力閾値に到達すること又は超えること、入力又はジェスチャのタイプの検出又は認識などを含む。いくつかの実施形態では、触知出力は、リダイレクション又は中断入力が時宜を得て検出されない限り発生する、近いうち起こるイベント又は結果に対する警告又はアラートしての役割を果たすように提供される。触知出力はまた、他のコンテキストでも使用されて、ユーザー体験を豊かにし、視覚若しくは運動上の困難をかかえるユーザーへのデバイスのアクセシビリティ若しくは他のアクセシビリティの必要性を改善し、並びに／又はユーザーインターフェース及び／若しくはデバイスの効率性及び機能性を改善する。触知出力は任意選択で、音声出力及び／又は視認可能なユーザーインターフェースの変更を伴い、それは、ユーザーがユーザーインターフェース及び／又はデバイスと対話するときのユーザーの体験を更に高め、ユーザーインターフェース及び／又はデバイスの状態に関する情報の搬送を更に促進し、並びにデバイスのユーザーの操作の入力誤りを削減し、効率性を増大させる。
【０１７６】
図４Ｆ〜４Ｈは、個々に、又は、組み合わせて、そのまま又は、１つ以上の変換（例えば、変調、増幅、切捨てなど）によって使用して、上述のような、及び本明細書において論ずるユーザーインターフェース及び方法に関して記載されている各種のシナリオの、そして、各種の目的のための、適切な触覚フィードバックを作り出すことができる一組のサンプル触知出力パターンを提供する。触知出力のパレットのこの例は、３つの波形及び８つの周波数のセットが触知出力パターンの配列を作るためにどのように用いることができるかについて示す。これらの図に表示される触知出力パターンに加えて、例えば、示すように、図４Ｉ〜４Ｋのフルタップ８０Ｈｚ、フルタップ２００Ｈｚ、ミニタップ８０Ｈｚ、ミニタップ２００Ｈｚ、マイクロタップ８０Ｈｚ及びマイクロタップ２００Ｈｚに対する触知出力パターンのための利得値を変えることによって、これらの触知出力パターンのそれぞれは振幅において任意選択的に調整され、そして、それは１．０、０．７５、０．５及び０．２５の利得を有する異型によって各々示される。図４Ｉ〜４Ｋに示すように、触知出力パターンの獲得を変えることで、パターンの周波数を変えるか又は波形の形状を変えることなくパターンの振幅が変わる。いくつかの実施形態では、触知出力パターンの周波数も変えることは振幅を低くする結果にもなり、なぜなら、いくつかの触知出力生成器はどれだけの力が可動質量に加えられ得るかによって制限され、したがって質量のより高い周波数の移動は振幅をより低くすることを強いられて、波形を作るために必要な加速は、触知出力生成器の操作上の力の範囲外の力を必要とはしない（例えば、２３０Ｈｚ、２７０Ｈｚ及び３００Ｈｚでのフルタップのピーク振幅は、８０Ｈｚ、１００Ｈｚ、１２５Ｈｚ、及び２００Ｈｚでのフルタップの振幅より低い）ことを確実にするからである。
【０１７７】
図４Ｆ〜４Ｋは、特定の波形を有する触知出力パターンを示す。触知出力パターンの波形は、可動質量が通過してその触知出力パターンで触知出力を生成する時間に対して、中立位置（例えば、ｘｚｅｒｏ）と比べた物理的変位のパターンを表す。例えば、図４Ｆに示す第１のセットの触知出力パターン（例えば、「フルタップ」の触知出力パターン）はそれぞれ、２つの完全サイクルがある発振（例えば、中立位置で開始及び終了し、中立位置を３回交差する発振）を含む波形を有する。図４Ｇに示す第２のセットの触知出力パターン（例えば、「ミニタップ」の触知出力パターン）はそれぞれ、１つの完全サイクルがある発振（例えば、中立位置で開始及び終了し、中立位置を１回交差する発振）を含む波形を有する。図４Ｈに示す第３のセットの触知出力パターン（例えば、「マイクロタップ」の触知出力パターン）はそれぞれ、完全サイクルの２分の１を含む発振（例えば、中立位置で開始及び終了し、中立位置と交差しない発振）を含む波形を有する。触知出力パターンの波形はまた、触知出力の開始及び終了において可動質量の段階的な高速化及び減速を表すスタートバッファ及びエンドバッファを含む。図４Ｆ〜４Ｋに表示される例示波形は、可動質量の移動の最大及び最小限の範囲を表すｘｍｉｎ及びｘｍａｘ値を含む。より大きい可動質量を有するより大きな電子デバイスに対して、質量の移動のより大きいかより小さい最小限及び最大範囲があり得る。図４Ｆ〜４Ｋに示す例は１次元における質量の移動を記載しているが、しかしながら、同様の原則が、二次元又は三次元の可動質量の移動にも当てはまる。
【０１７８】
図４Ｆ〜４Ｋに示すように、各触知出力パターンはまた、その特性周波数を有する触知出力からユーザーによって感じられる触覚感覚の「ピッチ」に影響を及ぼす、対応する特性周波数を有する。連続触知出力に対して、特性周波数は、触知出力生成器の可動質量によって所与の時間周期の間に完了するサイクル（例えば、秒当たりのサイクル）の数を表す。不連続の触知出力に対しては、不連続の出力信号が（例えば、０．５、１又は２サイクルで）発生し、そして特性周波数値は、可動質量がその特性周波数を有する触知出力を生成するためにどれくらい急速に移動することを必要とするかについて、条件付ける。図４Ｆ〜４Ｈに示すように、各タイプの触知出力（例えば、それぞれの波形（例えば、フルタップ、ミニタップ又はマイクロタップなどのそれぞれの波形により定義される）に対して、より高い周波数値は、可動質量によるより速い移動に対応し、したがって、一般に、触知出力を完了するためのより短い時間（例えば、不連続の触知出力のためのサイクルの所要数を完了する時間を含め、スタート及びエンドバッファ時間を加えたもの）に対応する。例えば、８０Ｈｚの特性周波数を有するフルタップは、１００Ｈｚの特性周波数を有するフルタップよりも完了するのにより長くかかる（例えば、図４Ｆの３５．４ｍｓ対２８．３ｍｓ）。加えて、所与の周波数に対して、それぞれの周波数でより多くのサイクルをその波形に有する触知出力は、同じそれぞれの周波数でより少ないサイクルをその波形に有する触知出力よりも、完了するのにより長くかかる。例えば、１５０Ｈｚのフルタップは１５０Ｈｚのミニタップより完了するのにより長くかかり（例えば、１９．４ｍｓ対１２．８ｍｓ）、そして、１５０Ｈｚのミニタップは１５０Ｈｚのマイクロタップより完了するのにより長くかかる（例えば、１２．８ｍｓ対９．４ｍｓ）。しかしながら、異なる周波数を有する触知出力パターンに対しては、この規則は、あてはめることができない（例えば、より多いサイクルだがより高い周波数を有する触知出力は、より少ないサイクルだがより低い周波数を有する触知出力よりも完了する時間が短くなり得て、そして、逆もまたそうである）。例えば、３００Ｈｚで、フルタップは、ミニタップと同じほどかかる（例えば、９．９ｍｓ）。
【０１７９】
図４Ｆ〜４Ｋに示すように、触知出力パターンはまた、触覚の信号に含まれるエネルギー量に影響を及ぼす特性振幅、すなわち、その特性振幅を有する触知出力によるユーザーによって感じられることができる触覚感覚の「強さ」を有する。いくつかの実施形態では、触知出力パターンの特性振幅は、触知出力を生成するときに、中立位置からの可動質量の最大の変位を表す絶対値又は正規化値に関連する。いくつかの実施形態では、触知出力パターンの特性振幅は、各種の条件（例えば、ユーザーインターフェース前後関係及び挙動に基づいてカスタマイズされる）及び／又は予め設定された測定基準（例えば、入力ベースの測定基準及び／又はユーザーインターフェースベースの測定基準）にしたがって、例えば、固定であるか動的に決定されたゲイン係数（例えば、０と１間の値）によって調節可能である。いくつかの実施形態では、入力ベースの測定基準（例えば、強度変化測定基準又は入力速度測定基準）は、入力（例えば、押圧入力の接触の特性強度の変化率又はタッチ感知面全体の接触の移動の率）の特性を、触知出力の生成をトリガする入力の間、測定する。いくつかの実施形態では、触知出力の生成をトリガするユーザーインターフェース変化の間、ユーザーインターフェースベースの測定基準（例えば、境界全体速度測定基準）は、ユーザーインターフェース要素（例えば、ユーザーインターフェースの、隠れているか可視の境界全体の要素の移動の速度）の特性を測定する。いくつかの実施形態では、触知出力パターンの特性振幅は「エンベロープ」によって調整することができ、隣接するサイクルのピークは異なる振幅を有することができて、ここで、上記の波形の１つは、時間につれて変化するエンベロープパラメータ（例えば、０から１まで）による乗算によって更に修正され、触知出力が発生しているのにつれて、時間とともに段階的に触知出力の部分の振幅を調整する。
【０１８０】
特性周波数、振幅及び波形だけが、説明の便宜上図４Ｆ〜４Ｋのサンプル触知出力パターンで表されているが、他の周波数、振幅及び波形を有する触知出力パターンも類似の目的のために用いることができる。例えば、０．５〜４サイクルの間の波形を用いることができる。６０Ｈｚ〜４００Ｈｚの範囲の他の周波数も同様に用いることができる。
ユーザーインターフェース及び関連するプロセス
【０１８１】
ここで、ディスプレイとタッチ感知面と、（任意選択的に）触知出力を生成するための１つ以上の触知出力生成器と、（任意選択的に）タッチ感知面との接触の強度を検出するための１つ以上のセンサとを備える、ポータブル多機能デバイス１００又はデバイス３００などの電子デバイス上で実装され得る、ユーザーインターフェース（「ＵＩ」）及び関連プロセスの実施形態に注意を向ける。
【０１８２】
図５Ａ〜５ＡＴは、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替える間に、仮想オブジェクトの表現を表示するための、いくつかの実施形態による、例示ユーザーインターフェースを図示する。これらの図のユーザーインターフェースは、図８Ａ〜８Ｅ、９Ａ〜９Ｄ、１０Ａ〜１０Ｄ、１６Ａ〜１６Ｇ、１７Ａ〜１７Ｄ、１８Ａ〜１８Ｉ、１９Ａ〜１９Ｈ及び２０Ａ〜２０Ｆのプロセスを含む、以下に説明するプロセスを図示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して述べられる。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する表現的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上の図に表示されるユーザーインターフェースを表示する間に、タッチ感知面４５１上の接触を検出したことに応じて、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
【０１８３】
図５Ａは、図５Ｂ〜５ＡＴに関して記載されているユーザーインターフェースが用いられる現実の前後関係を図示する。
【０１８４】
図５Ａは、テーブル５００４が位置する物理スペース５００２を図示する。デバイス１００は、ユーザーによってユーザーの手５００６に保持される。
【０１８５】
図５Ｂは、ディスプレイ１１２上に表示されたメッセージ送信ユーザーインターフェース５００８を図示する。メッセージ送信ユーザーインターフェース５００８は、受信したテキストメッセージ５０１２を含むメッセージバブル５０１０、送信したテキストメッセージ５０１６を含むメッセージバブル５０１４、メッセージにおいて受信した仮想オブジェクト（例えば、仮想椅子５０２０）を含むメッセージバブル５０１８及び仮想椅子５０２０が拡張現実視において（例えば、デバイス１００の１つ以上のカメラの視野の表現の範囲内で）見えるオブジェクトであることを示す仮想オブジェクトインジケータ５０２２を含む。メッセージ送信ユーザーインターフェース５００８は、メッセージ入力を表示するように構成されるメッセージ入力領域５０２４も含む。
【０１８６】
図５Ｃ〜５Ｇは、メッセージ送信ユーザーインターフェース５００８の一部をデバイス１００の１つ以上のカメラの視野により置き換えさせる入力を、図示する。図５Ｃにおいて、デバイス１００のタッチスクリーン１１２との接触５０２６が検出される。接触の特性強度は、強度レベルメータ５０２８で示すように、接触検出強度閾値ＩＴ０を上回り、かつ、ヒント押圧強度閾値ＩＴＨを下回る。図５Ｄにおいて、強度レベルメータ５０２８で示すように、ヒント押圧強度閾値ＩＴＨを上回る接触５０２６の特性強度の増加によって、メッセージバブル５０１８の領域が増大し、仮想椅子５０２０のサイズが増大し、そしてメッセージ送信ユーザーインターフェース５００８がメッセージバブル５０１８の後方でぼやけ始めている（例えば、接触の特性強度を増加させる効果の視覚フィードバックをユーザーに提供するために）。図５Ｅにおいて、強度レベルメータ５０２８で示すように、軽い押圧強度閾値ＩＴＬを上回る接触５０２６の特性強度の増加によって、メッセージバブル５０１８がプラッタ５０３０に置き換えられ、仮想椅子５０２０のサイズが更に増大し、そしてプラッタ５０３０の後方のメッセージ送信ユーザーインターフェース５００８のぼやけを増加させている。図５Ｆにおいて、強度レベルメータ５０２８で示すように、深い押圧強度閾値ＩＴＤを上回る接触５０２６の特性強度の増加によって、デバイス１００の触知出力生成器１６７に触知出力を（５０３２で図示されるように）出力させ、メッセージ送信ユーザーインターフェース５００８の一部をデバイス１００の１つ以上のカメラの視野に置き換えるための基準が満たされたことを示す。
【０１８７】
いくつかの実施形態では、接触５０２６の特性強度が深い押圧強度閾値ＩＴＤに到達する前に、図５Ｆで図示するように、図５Ｃ〜５Ｅに図示される進行は可逆である。例えば、図５Ｄ及び／又は５Ｅに図示される増加の後に接触５０２６の特性強度を低下させることは、接触５０２６の減少した強度レベルに対応するインターフェース状態が表示されるようにする（例えば、図５Ｅで示すインターフェースは接触の減少した特性強度が軽い押圧強度閾値ＩＴＬを上回るという判定にしたがって示され、図５Ｄで示すインターフェースは接触の減少した特性強度がヒント押圧強度閾値ＩＴＨを上回るという判定にしたがって示され、そして、図５Ｃで示すインターフェースは接触の減少した特性強度がヒント押圧強度閾値ＩＴＨを下回るという判定にしたがって示される）。いくつかの実施形態では、図５Ｄ及び／又は５Ｅに図示される増加の後に接触５０２６の特性強度を低下させることにより、図５Ｃで示すインターフェースが再表示させられる。
【０１８８】
図５Ｆ〜５Ｊは、メッセージ送信ユーザーインターフェースの一部がデバイス１００の１つ以上のカメラ（以下「カメラ」）の視野と置き換えられるアニメーション化された遷移を図示する。図５Ｆから図５Ｇまでに、接触５０２６はタッチスクリーン１１２からリフトオフし、そして、仮想椅子５０２０は図５Ｉのその最終位置の方へ回転した。図５Ｇにおいて、カメラの視野５０３４は、プラッタ５０３０の図へとフェードインし始めた（点線によって示されるように）。図５Ｈにおいて、カメラの視野５０３４（例えば、カメラによって取り込まれる物理スペース５００２のビューを示す）は、プラッタ５０３０の図に、フェードインを完了した。図５Ｈから図５Ｉまでに、仮想椅子５０２０は、図５Ｉのその最終位置の方へ、その回転を続けた。図５Ｉにおいて、触知出力生成器１６７は、触知出力を（５０３６で図示されるように）出力して、少なくとも１つのプレーン（例えば、床面５０３８）がカメラの視野５０３４において検出されたことを示した。仮想椅子５０２０は、検出されたプレーンに（例えば、仮想オブジェクトが検出水平面（例えば床面５０３８）上の直立した向きに置かれるように構成されるというデバイス１００による決定にしたがって）配置される。仮想椅子５０２０のサイズは、メッセージ送信ユーザーインターフェースの一部がディスプレイ１１２上のカメラの視野５０３４の表現に変わるにつれて、ディスプレイ１１２で連続的に調整される。例えば、カメラの視野５０３４に示す物理スペース５００２に対する仮想椅子５０２０の縮尺は、仮想椅子５０２０の所定の「実世界」サイズ及び／又はカメラの視野５０３４のオブジェクト（例えばテーブル５００４）の検出サイズに基づいて、決定される。図５Ｊにおいて、仮想椅子５０２０は、カメラの視野５０３４の検出床面に対する所定の向きを有するその最終位置で示される。いくつかの実施形態では、仮想椅子５０２０の最初のランディング位置は、カメラの視野の検出されたプレーンに対して所定の位置、例えば検出されたプレーンの空き領域の中央）である。いくつかの実施形態では、接触５０２６のランディング位置は、接触５０２６のリフトオフ位置にしたがって決定される（例えば、接触５０２６の最初のリフトオフ位置は、拡張現実環境に遷移するための基準が図５Ｆにおいて満たされた後、タッチスクリーン１１２全体の接触５０２６の移動により接触５０２６の最初のタッチダウン位置と異なってもよい）。
【０１８９】
図５Ｋ〜５Ｌは、カメラの視野５０３４を調整するデバイス１００の移動（例えば、ユーザーの手５００６による）を図示する。デバイス１００が物理スペース５００２に対して移動されるにつれて、カメラの表示された視野５０３４は変化し、そして、仮想椅子５０２０はカメラの表示された視野５０３４の床面５０３８に対して同じ位置及び向きで付着したままである。
【０１９０】
図５Ｍ〜５Ｑは、カメラの表示された視野５０３４の床面５０３８にわたる仮想椅子５０２０の移動を生じさせる入力を図示する。図５Ｎにおいて、デバイス１００のタッチスクリーン１１２との接触５０４０は、仮想椅子５０２０に対応する位置で検出される。図５Ｎ〜５Ｏにおいて、接触５０４０が矢印５０４２によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０４０によってドラッグされる。仮想椅子５０２０が接触５０４０によって移動されるにつれて、カメラの視野５０３４に示すように仮想椅子５０２０のサイズは変化して、物理スペース５００２に対する仮想椅子５０２０の縮尺を維持する。例えば、図５Ｎ〜５Ｐで、仮想椅子５０２０がカメラの視野５０３４の前景から、カメラの視野５０３４においてデバイス１００からはより遠くてテーブル５００４にはより近い位置へ移動するにつれて、仮想椅子５０２０のサイズは減少する（例えば、それによって、カメラの視野５０３４のテーブル５００４に対する椅子の縮尺は維持される）。加えて、仮想椅子５０２０が接触５０４０によって移動されるにつれて、カメラの視野５０３４において識別されるプレーンは強調される。例えば、図５Ｏにおいて床平面５０３８が強調される。図５Ｏ〜５Ｐにおいて、接触５０４０が矢印５０４４によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０４０によってドラッグされ続ける。図５Ｑにおいて、接触５０４０は、タッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、図５Ｎ〜５Ｑに示すように、あたかも仮想椅子５０２０が接触５０４０によって床面５０３８にわたってドラッグされるかのように、仮想椅子５０２０の移動パスはカメラの視野５０３４の床面５０３８によって拘束される。いくつかの実施形態では、図５Ｎ〜５Ｐに関して記載されている接触５０４０は、図５Ｃ〜５Ｆに関して記載されている接触５０２６の継続である（例えば、接触５０２６のリフトオフは無く、メッセージ送信ユーザーインターフェース５００８の一部がカメラの視野５０３４によって置き換られるようにさせるのと同じ接触はまた、カメラの視野５０３４の仮想椅子５０２０をドラッグする）。
【０１９１】
図５Ｑ〜５Ｕは、床面５０３８からカメラの視野５０３４において検出される異なるプレーン（例えば、テーブル面５０４６）への、仮想椅子５０２０の移動を引き起こす入力を図示する。図５Ｒにおいて、デバイス１００のタッチスクリーン１１２との接触５０５０は、仮想椅子５０２０に対応する位置で検出される。図５Ｒ〜５Ｓにおいて、接触５０４８が矢印５０５０によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０４８によってドラッグされる。仮想椅子５０２０が接触５０４８によって移動されるにつれて、仮想椅子５０２０のサイズが変化してカメラの視野５０３４に示すように物理スペース５００２に対する仮想椅子５０２０の縮尺を維持する。加えて、仮想椅子５０２０が接触５０４０によって移動されるにつれて、テーブル基準面５０４６は強調される（例えば、図５Ｓに示すように）。図５Ｓ〜５Ｔにおいて、接触５０４８が矢印５０５２によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０４０によってドラッグされ続ける。図５Ｕにおいて、接触５０４８はタッチスクリーン１１２からリフトオフしており、そして、仮想椅子５０２０は前と同じ方向に向かっている直立した向きのテーブル基準面５０４６に配置される。
【０１９２】
図５Ｕ〜５ＡＤはタッチスクリーンディスプレイ１１２の端に仮想椅子５０２０をドラッグする入力を図示し、これによりカメラの視野５０３４が表示されないようにする。図５Ｖにおいて、デバイス１００のタッチスクリーン１１２との接触５０５４は、仮想椅子５０２０に対応する位置で検出される。図５Ｖ〜５Ｗにおいて、接触５０５４が矢印５０５６によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０５４によってドラッグされる。図５Ｗ〜５Ｘにおいて、接触５０５４が矢印５０５８によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は図５Ｘに表示される位置に接触５０５４によってドラッグされ続ける。
【０１９３】
図５Ｕ〜５Ｘに図示される接触５０５４による入力は、図５Ｙ〜５ＡＤに示すように、カメラの視野５０３４をプラッタ５０３０に表示することから、カメラの視野５０３４を表示するのを中止して、メッセージ送信ユーザーインターフェース５００８を完全に表示することに戻るという遷移を引き起こす。図５Ｙにおいて、カメラの視野５０３４は、プラッタ５０３０においてフェードアウトを開始する。図５Ｙ〜５Ｚにおいて、プラッタ５０３０は、メッセージバブル５０１８に遷移する。図５Ｚにおいて、カメラの視野５０３４は、もはや表示されない。図５ＡＡにおいて、メッセージ送信ユーザーインターフェース５００８はぼやけなくなり、メッセージバブル５０１８のサイズはメッセージバブル５０１８の元のサイズに（例えば、図５Ｂに示すように）戻る。
【０１９４】
図５ＡＡ〜５ＡＤは、図５ＡＡの接触５０５４に対応する位置からメッセージ送信ユーザーインターフェース５００８（例えば、図５Ｂに示すように）の仮想椅子５０２０の元の位置へ仮想椅子５０２０が移動するにつれて発生する、仮想椅子５０２０のアニメーション化された遷移を、図示する。図５ＡＢにおいて、接触５０５４は、タッチスクリーン１１２からリフトオフしている。図５ＡＢ〜５ＡＣにおいて、仮想椅子５０２０は、段階的にサイズが増加して、図５ＡＤのその最終位置の方へ回転する。
【０１９５】
図５Ｂ〜５ＡＤにおいて、仮想椅子５０２０は、メッセージ送信ユーザーインターフェース５００８の中で、また、カメラの表示された視野５０３４の中で、実質的に同じ三次元外観を有し、そして仮想椅子５０２０は、メッセージ送信ユーザーインターフェース５００８を表示することからカメラの視野５０３４を表示することへの遷移の間、及び逆遷移の間、その同じ三次元外観を維持する。いくつかの実施形態では、仮想椅子５０２０の表現は、アプリケーションユーザーインターフェース（例えば、メッセージ送信ユーザーインターフェース）において、拡張現実環境において（例えば、カメラの示された視野において）とは異なる外観を有する。例えば、仮想椅子５０２０は任意選択的にアプリケーションユーザーインターフェースにおいて二次元であるかより在来の型にのっとった見え方を有し、その一方で、拡張現実環境では三次元及びより現実的で質感のある見え方を有し、そして、アプリケーションユーザーインターフェースを表示することと拡張現実環境を表示することの間の遷移の間の、仮想椅子５０２０の中間の外観は、二次元の見え方と仮想椅子５０２０の三次元の見え方の間の一連の内挿された外観である。
【０１９６】
図５ＡＥは、インターネットブラウザユーザーインターフェース５０６０を図示する。インターネットブラウザユーザーインターフェース５０６０は、ウェブブラウザのためのＵＲＬ／検索入力を表示するように構成されるＵＲＬ／検索入力領域５０６２及びブラウザ制御５０６４（例えば、バックボタン及びフォワードボタンを含むナビゲーション制御、共有インターフェースを表示するための共有制御、ブックマークインターフェースを表示するためのブックマーク制御及びタブインターフェースを表示するためのタブ制御）を含む。インターネットブラウザユーザーインターフェース５０６０は、ウェブオブジェクト５０６６、５０６８、５０７０、５０７２、５０７４及び５０７６も含む。いくつかの実施形態では、それぞれのウェブオブジェクトはリンクを含み、それによって、それぞれのウェブオブジェクト上のタップ入力に応答して、ウェブオブジェクトに対応するリンクの張られたインターネット位置がインターネットブラウザユーザーインターフェース５０６０に（例えば、それぞれのウェブオブジェクトの表示を置き換えて）表示される。ウェブオブジェクト５０６６、５０６８及び５０７２は、仮想オブジェクトインジケータ５０７８、５０８０及び５０８２によってそれぞれ示されるように、三次元仮想オブジェクトの二次元の表現を含む。ウェブオブジェクト５０７０、５０７４及び５０７６は、二次元画像を含む（しかし、仮想オブジェクトインジケータの欠如によって示されるように、ウェブオブジェクト５０７０、５０７４及び５０７６の二次元画像は三次元仮想オブジェクトに対応しない）。ウェブオブジェクト５０６８に対応する仮想オブジェクトは、ランプオブジェクト５０８４である。
【０１９７】
図５ＡＦ〜５ＡＨは、インターネットブラウザユーザーインターフェース５０６０の一部をカメラの視野５０３４により置き換えさせる入力を、図示する。図５ＡＦにおいて、デバイス１００のタッチスクリーン１１２との接触５０８６が検出される。接触の特性強度は、強度レベルメータ５０２８で示すように、接触検出強度閾値ＩＴ０を上回り、そして、ヒント押圧強度閾値ＩＴＨを下回る。図５ＡＧにおいて、強度レベルメータ５０２８で示すように、軽い押圧強度閾値ＩＴＬを上回る接触５０２６の特性強度の増加により、カメラの視野５０３４がウェブオブジェクト５０６８に表示させられた（例えば、仮想ランプ５０８４によりオーバレイされた）。図５ＡＨにおいて、強度レベルメータ５０２８で示すように、深い押圧強度閾値ＩＴＤを上回る接触５０８６の特性強度の増加により、カメラの視野５０３４が、（例えば、ＵＲＬ／検索入力領域５０６２及びブラウザ制御５０６４だけを残して）インターネットブラウザユーザーインターフェース５０６０のより大きな部分を置き換え、そして、デバイス１００の触知出力生成器１６７は（５０８８で図示されるように）触知出力を出力して、インターネットブラウザユーザーインターフェース５０６０の一部をカメラの視野５０３４に置き換えるための基準が満たされたことを示す。いくつかの実施形態では、図５ＡＦ〜５ＡＨに関して記載されている入力に応答して、カメラの視野５０３４は、タッチスクリーンディスプレイ１１２上のインターネットブラウザユーザーインターフェース５０６を完全に置き換える。
【０１９８】
図５ＡＩ〜５ＡＭは、仮想ランプ５０８４の移動を生じさせる入力を図示する。図５ＡＩ〜５ＡＪにおいて、接触５０８６が矢印５０９０によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は接触５０８６によってドラッグされる。仮想ランプ５０８４が接触５０８６によって移動されるにつれて、仮想ランプ５０８４のサイズは不変であり、そして、仮想ランプ５０８４のパスは任意選択的に、カメラの視野において捕えられる物理スペースの構造によって拘束されない。仮想ランプ５０８４が接触５０８６によって移動されるにつれて、カメラの視野５０３４において識別される平面は強調される。例えば、仮想ランプ５０８４が床平面５０３８の上を移動するにつれて、床平面５０３８は図５ＡＪにおいて強調される。図５ＡＪ〜５ＡＫにおいて、接触５０８６が矢印５０９２によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は接触５０８６によってドラッグされ続ける。図５ＡＫ〜５ＡＬにおいて、接触５０８６が矢印５０９４によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は接触５０８６によってドラッグされ続け、床平面５０３８は強調されなくなり、そして、仮想ランプ５０８４がテーブル５００４の上を移動するにつれて、テーブル面５０４６が強調される。図５ＡＭにおいて、接触５０８６は、タッチスクリーン１１２からリフトオフしている。接触５０８６がリフトオフしてしまうと、仮想ランプ５０８６のサイズはカメラの視野５０３４のテーブル５００４に対して正しい縮尺を有するように調整され、そして、仮想ランプ５０８６はカメラの視野５０３４のテーブル面５０４６上の直立した向きに置かれる。
【０１９９】
図５ＡＭ〜５ＡＱはタッチスクリーンディスプレイ１１２の端に仮想ランプ５０８４をドラッグする入力を図示し、これによりカメラの視野５０３４が表示されないようにし、インターネットブラウザユーザーインターフェース５０６０を復活させる。図５ＡＮにおいて、デバイス１００のタッチスクリーン１１２との接触５０９６は、仮想ランプ５０８４に対応する位置で検出される。図５ＡＮ〜５ＡＯにおいて、接触５０９６が矢印５０９８によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は接触５０９６によってドラッグされる。図５ＡＯ〜５ＡＰにおいて、接触５０５４が矢印５１００によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は図５ＡＰに表示される位置に接触５０９６によってドラッグされ続ける。図５ＡＱにおいて、接触５０９６は、タッチスクリーン１１２からリフトオフしている。
【０２００】
図５ＡＭ〜５ＡＰに図示される接触５０９６による入力は、図５ＡＱ〜５ＡＴに示すように、カメラの視野５０３４を表示することから、カメラの視野５０３４を表示するのを中止して、インターネットブラウザユーザーインターフェース５０６０を完全に表示することに戻るという遷移を引き起こす。図５ＡＲにおいて、カメラの視野５０３４は（点線によって示されるように）フェードアウトし始める。図５ＡＲ〜５ＡＴにおいて、仮想ランプ５０８４は、サイズが増加して、インターネットブラウザユーザーインターフェース５０６０のその元の位置の方へ移動する。図５ＡＳにおいて、カメラの視野５０３４はもはや表示されず、インターネットブラウザユーザーインターフェース５０６０は（点線によって示されるように）フェードインし始める。図５ＡＴにおいて、インターネットブラウザユーザーインターフェース５０６０は完全に表示され、そして、仮想ランプ５０８４はインターネットブラウザユーザーインターフェース５０６０内でその元のサイズ及び位置に戻っている。
【０２０１】
図６Ａ〜６ＡＪは、いくつかの実施形態にしたがって、第１のユーザーインターフェース領域の仮想オブジェクトの第１の表現、第２のユーザーインターフェース領域の仮想オブジェクトの第２の表現及び１つ以上のカメラの視野の表現を有する仮想オブジェクトの第３の表現を表示するための例示ユーザーインターフェースを図示する。これらの図におけるユーザーインターフェースは、図８Ａ〜８Ｅ、９Ａ〜９Ｄ、１０Ａ〜１０Ｄ、１６Ａ〜１６Ｇ、１７Ａ〜１７Ｄ、１８Ａ〜１８Ｉ、１９Ａ〜１９Ｈ及び２０Ａ〜２０Ｆにおけるプロセスを含む、以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する表現的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上の図に表示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応じて、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
【０２０２】
図６Ａは、受信したテキストメッセージ５０１２を含むメッセージバブル５０１０、送信したテキストメッセージ５０１６を含むメッセージバブル５０１４、メッセージにおいて受信した仮想オブジェクト（例えば、仮想椅子５０２０）を含むメッセージバブル５０１８及び仮想椅子５０２０が拡張現実視において（例えば、デバイス１００の１つ以上の表示されたカメラの視野の範囲内で）見えるオブジェクトであることを示す仮想オブジェクトインジケータ５０２２を含む、メッセージ送信ユーザーインターフェース５００８を図示する。メッセージ送信ユーザーインターフェース５００８は、図５Ｂに関して更に詳細に記載される。
【０２０３】
図６Ｂ〜６Ｃは、仮想椅子５０２０の回転を生じさせる入力を図示する。図６Ｂにおいて、デバイス１００のタッチスクリーン１１２との接触６００２が検出される。接触６００２は、矢印６００４によって示されるパスに沿って、タッチスクリーン１１２にわたって移動する。図６Ｃにおいて、接触の移動に応答して、メッセージ送信ユーザーインターフェース５００８は上方へスクロールされて（メッセージバブル５０１０をディスプレイからスクロールオフさせ、メッセージバブル５０１４及び５０１８を上方へスクロールさせ、付加的なメッセージバブル６００５を現し）、そして、仮想椅子５０２０は回転する（例えば、上方へ傾けられる）。仮想椅子５０２０の回転の大きさ及び方向は、矢印６００４によって示されるパスに沿った接触６００２の移動に対応する。図６Ｄにおいて、接触６００２は、タッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、メッセージバブル５０１８内の仮想椅子５０２０のこの回転の挙動が、仮想椅子５０２０がデバイス１００のカメラの視野を含む拡張現実環境において見える仮想オブジェクトであるという徴候として、使われる。
【０２０４】
図６Ｅ〜６Ｌは、メッセージ送信ユーザーインターフェース５００８をステージングユーザーインターフェース６０１０により置き換えさせ、そして仮想椅子５０２０の向きをその後変える入力を、図示する。図６Ｅにおいて、デバイス１００のタッチスクリーン１１２との接触６００６が検出される。強度レベルメータ５０２８で示すように、接触の特性強度は、接触検出強度閾値ＩＴ０を上回り、そして、ヒント押圧強度閾値ＩＴＨを下回る。図６Ｆにおいて、強度レベルメータ５０２８で示すように、ヒント押圧強度閾値ＩＴＨを上回る接触６００６の特性強度の増加によって、メッセージバブル５０１８の領域が増大し、仮想椅子５０２０のサイズが増大し、そしてメッセージ送信ユーザーインターフェース５００８がメッセージバブル５０１８（例えば、接触の特性強度を増加させる効果の視覚フィードバックをユーザーに提供する）の後方でぼやけ始めた。図６Ｇにおいて、強度レベルメータ５０２８で示すように、軽い押圧強度閾値ＩＴＬを上回る接触６００６の特性強度の増加によって、メッセージバブル５０１８がプラッタ６００８に置き換えられ、仮想椅子５０２０のサイズが更に増大し、そしてプラッタ６００８の後方のメッセージ送信ユーザーインターフェース５００８のぼやけを増加させた。図６Ｈにおいて、強度レベルメータ５０２８で示すように、深い押圧強度閾値ＩＴＤを上回る接触６００６の特性強度の増加により、メッセージ送信ユーザーインターフェース５００８が表示されなくなり、ステージングユーザーインターフェース６０１０のフェードイン（点線によって示される）が起動される。加えて、図６Ｈで示すように、深い押圧強度閾値ＩＴＤを上回る接触６００６の特性強度の増加によって、デバイス１００の触知出力生成器１６７に触知出力を（６０１２で図示されるように）出力させ、メッセージ送信ユーザーインターフェース５００８をステージングユーザーインターフェース６０１０に置き換えるための基準が満たされたことを示す。
【０２０５】
いくつかの実施形態では、接触６００６の特性強度が深い押圧強度閾値ＩＴＤに及ぶ前に、図６Ｈで図示するように、図６Ｅ〜６Ｇに図示される進行は可逆である。例えば、図６Ｆ及び／又は６Ｇに図示される増加の後に接触６００６の特性強度を低下させることは、接触６００６の減少した強度レベルに、対応するインターフェース状態が表示されるようにする（例えば、図６Ｇで示すインターフェースは接触の減少した特性強度が軽い押圧強度閾値ＩＴＬを上回るという判定にしたがって示され、図６Ｆで示すインターフェースは接触の減少した特性強度がヒント押圧強度閾値ＩＴＨを上回るという判定にしたがって示され、そして、図６Ｅで示すインターフェースは接触の減少した特性強度がヒント押圧強度閾値ＩＴＨを下回るという判定にしたがって示される）。いくつかの実施形態では、図６Ｆ及び／又は６Ｇに図示される増加の後に接触６００６の特性強度を低下させることにより、図６Ｅで示すインターフェースが再表示させられる。
【０２０６】
図６Ｉにおいて、ステージングユーザーインターフェース６０１０が表示される。ステージングユーザーインターフェース６０１０は、仮想椅子５０２０が表示されるステージ６０１４を含む。図６Ｈ〜６Ｉから、仮想椅子５０２０は、図６Ｈの仮想椅子５０２０の位置から図６Ｉの仮想椅子５０２０の位置への遷移を示すために、アニメーション化される。例えば、仮想椅子５０２０は、ステージ６０１４（例えば、このようなその仮想椅子は、ステージ６０１４によってサポートされるように見える）に対して所定の位置、向き及び／又は距離に回転される。ステージングユーザーインターフェース６０１０はまた、（例えば、バック制御６０１６に対応する位置に入力されるタップによって）アクティブ化されると、前に表示されたユーザーインターフェース（例えば、メッセージ送信ユーザーインターフェース５００８）を再表示させる、バック制御６０１６を含む。ステージングユーザーインターフェース６０１０はまた、現在のディスプレイモード（例えば、現在のディスプレイモードは強調された「３Ｄ」インジケータによって示されるように、ステージングユーザーインターフェースモードである）を示し、そして、アクティブ化されると選択されたディスプレイモードに遷移する、トグル制御６０１８を含む。例えば、ステージングユーザーインターフェース６０１０が表示されている間に、トグル制御６０１８に対応する位置（例えば、テキスト「ワールド」を含むトグル制御６０１８の一部に対応する位置）での接触により入力されるタップによって、ステージングユーザーインターフェース６０１０はカメラの視野と置き換えられる。ステージングユーザーインターフェース６０１０はまた、（例えば、共有インターフェースを表示するための）シェア制御６０２０を含む。
【０２０７】
図６Ｊ〜６Ｌは、接触６００６の移動によって生じるステージ６０１４に対する仮想椅子５０２０の回転を図示する。図６Ｊ〜６Ｋにおいて、接触６００６が矢印６０２２によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は（例えば、接触６０６６の移動に対して垂直である第１の軸のまわりを）回転する。図６Ｋ〜６Ｌにおいて、矢印６０２４によって示されるパスに沿って、そして、その後矢印６０２５によって示されるパスに沿って接触６００６が移動するにつれて、仮想椅子５０２０は（例えば、接触６０６６の移動に対して垂直である第２の軸のまわりを）回転する。図６Ｍにおいて、接触６００６はタッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、図６Ｊ〜６Ｌに示すように、仮想椅子５０２０の回転はステージ６０１４の表面によって拘束される。例えば、仮想椅子５０２０の少なくとも１つの脚部は、仮想椅子の回転の間、ステージ６０１４の表面と接触したままである。いくつかの実施形態では、ステージ６０１４の表面は、仮想椅子５０２０の動きに特定の制約をもたらすことのない、仮想椅子５０２０の自由回転及び垂直並進移動の基準系としての役割を果たす。
【０２０８】
図６Ｎ〜６Ｏは、仮想椅子５０２０の表示されたサイズを調整する入力を図示する。図６Ｎにおいて、タッチスクリーン１１２との第１の接触６０２６及び第２の接触６０３０が検出される。第１の接触６０２６は矢印６０２８によって示されるパスに沿って移動し、そして、第１の接触６０２６の移動と同時に、第２の接触６０３０は矢印６０３２によって示されるパスに沿って移動する。図６Ｎ〜６Ｏにおいて、第１の接触６０２６及び第２の接触６０３０が、それぞれ（例えば、デピンチジェスチャにおいて）、矢印６０２８及び６０３２によって示されるパスに沿って移動するにつれて、仮想椅子５０２０の表示されるサイズは増大する。図６Ｐにおいて、第１の接触６０３０及び第２の接触６０２６はタッチスクリーン１１２からリフトオフしており、そして、仮想椅子５０２０は接触６０２６及び６０３０のリフトオフの後増大したサイズを維持する。
【０２０９】
図６Ｑ〜６Ｕは、ステージングユーザーインターフェース６０１０をデバイス１００の１つ以上のカメラの視野６０３６により置き換えさせる入力を、図示する。図６Ｑにおいて、デバイス１００のタッチスクリーン１１２との接触６０３４が検出される。強度レベルメータ５０２８で示すように、接触の特性強度は、接触検出強度閾値ＩＴ０を上回り、そして、ヒント押圧強度閾値ＩＴＨを下回る。図６Ｒにおいて、強度レベルメータ５０２８で示すように、ヒント押圧強度閾値ＩＴＨを上回る接触５０２６の特性強度の増加により、ステージングユーザーインターフェース６０１０が（点線によって示されるように）仮想椅子５０２０の後方でぼやけ始めた。図６Ｓにおいて、強度レベルメータ５０２８で示すように、軽い押圧強度閾値ＩＴＬを上回る接触６０３４の特性強度の増加により、ステージングユーザーインターフェース６０１０が表示されなくなり、カメラの視野６０３６のフェードイン（点線によって示される）が起動される。図６Ｔにおいて、強度レベルメータ５０２８で示すように、深い押圧強度閾値ＩＴＤを上回る接触６０３４の特性強度の増加により、カメラの視野６０３６が表示させられる。加えて、図６Ｔで示すように、深い押圧強度閾値ＩＴＤを上回る接触６０３４の特性強度の増加によって、デバイス１００の触知出力生成器１６７に触知出力を（６０３８で図示されるように）出力させ、ステージングユーザーインターフェース６０１０の表示をカメラの視野６０３６の表示に置き換えるための基準が満たされたことを示す。図６Ｕにおいて、接触６０３４はタッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、接触６０３４の特性強度が深い押圧強度閾値ＩＴＤに及ぶ前に、図６Ｔで図示するように、図６Ｑ〜６Ｔに図示される進行は可逆である。例えば、接触６０３４の特性強度を図６Ｒ及び／又は６Ｓに図示される増加の後に低下させることは、表示される接触６０３４の減少した強度レベルに対応するインターフェース状態を引き起こす。
【０２１０】
図６Ｑ〜６Ｕから、仮想椅子５０２０は検出されたプレーンに（例えば、デバイス１００による仮想椅子５０２０が床面５０３８などの検出水平面上の直立した向きに置かれるように構成されるという決定にしたがって）配置され、そして、仮想椅子５０２０のサイズは調整される（例えば、カメラの視野６０３６で示す物理スペース５００２に対する仮想椅子５０２０の縮尺は、仮想椅子５０２０の所定の「実世界」サイズ及び／又はカメラの視野６０３６のオブジェクト（例えばテーブル５００４）の検出サイズに基づいて、決定される）。ステージングインターフェース６０１０が表示された間に、（例えば、図６Ｊ〜６Ｋに関して記載されているように）仮想椅子５０２０の回転によって生じる仮想椅子５０２０の向きは、仮想椅子５０２０がステージングユーザーインターフェース６０１０からカメラの視野６０３６まで遷移するのにつれて維持される。例えば、床面５０３８に対する仮想椅子５０２０の向きは、ステージ５０１４の表面に対する仮想椅子５０２０の最終的な向きと同じである。いくつかの実施形態では、ステージングユーザーインターフェースの仮想オブジェクト５０２０のサイズの調整は、仮想椅子５０２０のサイズが物理スペース５００２のサイズに対して視野６０３６において調整されるときに、考慮される。
【０２１１】
図６Ｖ〜６Ｙは、カメラの視野６０３６をステージングユーザーインターフェース６０１０により置き換えさせる入力を、図示する。図６Ｖにおいて、トグル制御６０１８（例えば、テキスト「３Ｄ」を含むトグル制御６０１８の一部に対応する位置）に対応する位置で、接触６０４０による入力（例えば、タップ入力）が検出される。図６Ｗ〜６Ｙにおいて、接触６０４０による入力に応答して、カメラの視野６０３６は（図６Ｗの点線によって示すように）フェードアウトし、ステージングユーザーインターフェース６０１０は（図６Ｘの点線によって示すように）フェードインし、そして、ステージングユーザーインターフェース６０１０は（図６Ｙに示すように）完全に表示される。図６Ｖ〜６Ｙから、仮想椅子５０２０のサイズは調整され、そして、仮想椅子５０２０の位置は変化する（例えば、仮想椅子５０２０をステージングユーザーインターフェースのための所定の位置及びサイズに戻すために）。
【０２１２】
図６Ｚ〜６ＡＣは、ステージングユーザーインターフェース６０１０をメッセージ送信ユーザーインターフェース５００８により置き換えさせる入力を、図示する。図６Ｚにおいて、接触６０４２による入力（例えば、タップ入力）は、バック制御６０１６に対応する位置で検出される。図６ＡＡ〜６ＡＣにおいて、接触６０４２による入力に応答して、ステージングユーザーインターフェース６０１０は（図６ＡＡの点線によって示すように）フェードアウトし、メッセージ送信ユーザーインターフェース５００８は（図６ＡＢの点線によって示すように）フェードインし、そして、メッセージ送信ユーザーインターフェース５００８は（図６ＡＣに示すように）完全に表示される。図６Ｚ〜６ＡＢから、仮想椅子５０２０のサイズ、向き及び位置は、ディスプレイ上で連続的に調整される（例えば、仮想椅子５０２０をメッセージ送信ユーザーインターフェース５００８のための所定の位置、サイズ及び向きに戻すために）。
【０２１３】
図６ＡＤ〜６ＡＪは、メッセージ送信ユーザーインターフェース５００８を（例えば、ステージングユーザーインターフェース６０１０の表示をバイパスして）カメラの視野６０３６により置き換えさせる入力を、図示する。図６ＡＤにおいて、接触６０４４は仮想椅子５０２０に対応する位置で検出される。接触６０４４による入力は、長いタッチジェスチャ（その間は接触６０４４が、少なくとも所定の閾値時間に対して閾値移動量未満の仮想オブジェクト５０２０の表現に対応するタッチ感知面上の場所に維持される）とそれに続く（上方へ仮想椅子５０２０をドラッグする）上方へのスワイプジェスチャを含む。図６ＡＤ〜６ＡＥに示すように、仮想椅子５０２０は接触６０４４が矢印６０４６によって示されるパスに沿って移動するにつれて、上方へドラッグされる。図６ＡＥにおいて、メッセージ送信ユーザーインターフェース５００８は仮想椅子５０２０の後方でフェードアウトする。図６ＡＥ〜６ＡＦに示すように、接触６０４４が矢印６０４８によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は上方へドラッグされ続ける。図６ＡＦにおいて、カメラの視野５０３６は、仮想椅子５０２０の後方でフェードインする。図６ＡＧにおいて、長いタッチジェスチャとそれに続く上方へのスワイプジェスチャを含む接触６０４４による入力に応答して、カメラの視野５０３６は完全に表示される。図６ＡＨにおいて、接触６０４４はタッチスクリーン１１２からリフトオフする。図６ＡＨ〜６ＡＪにおいて、接触６０４４のリフトオフに応答して、仮想椅子５０２０は、（例えば、仮想椅子５０２０がもはや接触によって高速されないか又はドラッグされないので）リリースされて、プレーン（例えば、水平の（床）表面が仮想椅子５０２０に対応するという判定にしたがって、床面５０３８）に落ちる。加えて、図６ＡＪで図示するように、デバイス１００の触知出力生成器１６７は、触知出力を（６０５０で図示するように）出力して、仮想椅子５０２０が床面５０３８にランディングしたことを示す。
【０２１４】
図７Ａ〜７Ｐは、いくつかの実施形態にしたがって、アイテムが仮想三次元オブジェクトに対応することを示すための視覚的な指示を有するアイテムを表示するための、例示ユーザーインターフェースを図示する。これらの図におけるユーザーインターフェースは、図８Ａ〜８Ｅ、９Ａ〜９Ｄ、１０Ａ〜１０Ｄ、１６Ａ〜１６Ｇ、１７Ａ〜１７Ｄ、１８Ａ〜１８Ｉ、１９Ａ〜１９Ｈ及び２０Ａ〜２０Ｆにおけるプロセスを含む、以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する表現的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上の図に表示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応じて、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
【０２１５】
図７Ａは、アプリケーションのメニューのためのユーザーインターフェース４００が表示される間に検出される入力を図示する。入力は要求に対応して、第１のユーザーインターフェース（例えば、インターネットブラウザユーザーインターフェース５０６０）を表示する。図７Ａにおいて、接触７０００による入力（例えば、タップ入力）がブラウザモジュール１４７のためのアイコン４２０に対応する位置で検出される。入力に応答して、図７Ｂに示すように、インターネットブラウザユーザーインターフェース５０６０が表示される。
【０２１６】
図７Ｂは、（例えば、図５ＡＥに関して詳細に説明したような）インターネットブラウザユーザーインターフェース５０６０を図示する。インターネットブラウザユーザーインターフェース５０６０は、ウェブオブジェクト５０６６、５０６８、５０７０、５０７２、５０７４及び５０７６を含む。ウェブオブジェクト５０６６、５０６８及び５０７２はそれぞれ、仮想オブジェクトインジケータ５０７８、５０８０及び５０８２によって示されるような、三次元仮想オブジェクトの二次元の表現を含む。ウェブオブジェクト５０７０、５０７４及び５０７６は、二次元画像を含む（しかし、ウェブオブジェクト５０７０、５０７４及び５０７６の二次元画像は、仮想オブジェクトインジケータの欠如によって示されるように、三次元仮想オブジェクトに対応しない）。
【０２１７】
図７Ｃ〜７Ｄは、インターネットブラウザユーザーインターフェース５０６０の並進移動（例えば、スクロール）が生じさせる入力を図示する。図７Ｂにおいて、タッチスクリーン１１２との接触７００２が検出される。図７Ｃ〜７Ｄにおいて、接触７００２が矢印７００４によって示されるパスに沿って移動するにつれて、ウェブオブジェクト５０６６、５０６８、５０７０、５０７２、５０７４及び５０７６は上方へスクロールし、付加的なウェブオブジェクト７００３及び７００５を現す。加えて、接触７００２が矢印７００４によって示されるパスに沿って移動するにつれて、仮想オブジェクトインジケータ５０７８、５０８０及び５０８２をそれぞれ含むウェブオブジェクト５０６６、５０６８及び５０７２の仮想オブジェクトは、入力の（上方へ垂直な）方向にしたがって回転する（例えば、上方へ傾く）。例えば、仮想ランプ５０８４は、図７Ｃの第１の向きから図７Ｄの第２の向きまで上方へ傾く。ウェブオブジェクト５０７０、５０７４及び５０７６の二次元画像は、接触がインターネットブラウザユーザーインターフェース５０６０をスクロールするにつれて回転はしない。図７Ｅにおいて、接触７００２はタッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、ウェブオブジェクト５０６６、５０６８及び５０７２で表されるオブジェクトの回転挙動は、これらのウェブオブジェクトが拡張現実環境において見える対応する三次元仮想オブジェクトを有するという視覚的な指示として使われ、その一方で、ウェブオブジェクト５０７０、５０７４及び５０７６で表されるオブジェクトのこのような回転挙動の欠如は、これらのウェブオブジェクトが拡張現実環境において見える対応する三次元仮想オブジェクトを有しないという視覚的な指示として使われる。
【０２１８】
図７Ｆ〜７Ｇは、仮想オブジェクトが物理的世界に対するデバイス１００の向きの変化に応答してディスプレイ上で回転する視差効果を図示する。
【０２１９】
図７Ｆ１は、デバイス１００が実質的に垂直向きとなるように、ユーザー７００６によってユーザーの手５００６に保持されるデバイス１００を図示する。図７Ｆ２は、デバイス１００が図７Ｆ１において図示される向きにあるときにデバイス１００によって表示される、インターネットブラウザユーザーインターフェース５０６０を図示する。
【０２２０】
図７Ｇ１は、デバイス１００が実質的に横向きとなるように、ユーザー７００６によってユーザーの手５００６に保持されるデバイス１００を図示する。図７Ｇ２は、デバイス１００が図７Ｇ１において図示される向きにあるときにデバイス１００によって表示される、インターネットブラウザユーザーインターフェース５０６０を図示する。図７Ｆ２から図７Ｇ２までに、仮想オブジェクトインジケータ５０７８、５０８０及び５０８２をそれぞれ含むウェブオブジェクト５０６６、５０６８及び５０７２の仮想オブジェクトの向きは、デバイスの方向の変化にしたがって回転する（例えば、上方へ傾く）。例えば、仮想ランプ５０８４は、物理空間におけるデバイス向きの同時並行の変化にしたがって、図７Ｆ２の第１の向きから図７Ｇ２の第２の向きまで上方へ傾く。ウェブオブジェクト５０７０、５０７４及び５０７６の二次元画像は、デバイスの向きが変化するにつれて回転はしない。いくつかの実施形態では、ウェブオブジェクト５０６６、５０６８及び５０７２で表されるオブジェクトの回転挙動は、これらのウェブオブジェクトが拡張現実環境において見える対応する三次元仮想オブジェクトを有するという視覚的な指示として使われ、その一方で、ウェブオブジェクト５０７０、５０７４及び５０７６で表されるオブジェクトのこのような回転挙動の欠如は、これらのウェブオブジェクトが拡張現実環境において見える対応する三次元仮想オブジェクトを有しないという視覚的な指示として使われる。
【０２２１】
図７Ｈ〜７Ｌは、第２のユーザーインターフェース（例えば、メッセージ送信ユーザーインターフェース５００８）を表示する要求に対応する入力を図示する。図７Ｈにおいて、接触７００８がディスプレイ１１２の下側縁部に対応する位置で検出される。図７Ｈ〜７Ｉにおいて、接触７００８は、矢印７０１０によって示されるパスに沿って、上方へ移動する。図７Ｉ〜７Ｊにおいて、接触７００８は、矢印７０１２によって示されるパスに沿って上方へ移動し続ける。図７Ｈ〜７Ｊにおいて、接触７００８が上方へディスプレイ１１２の下側縁部から上方へ移動するにつれて、図７Ｉに示すように、インターネットブラウザユーザーインターフェース５０６０のサイズは減少し、そして、図７Ｊで、マルチタスキングユーザーインターフェース７０１２が（例えば、接触７００８による上方へのエッジスワイプジェスチャに応答して）表示される。マルチタスキングユーザーインターフェース７０１２は、保持された状態（例えば、保持された状態は、それぞれのアプリケーションがデバイス上で実行されるフォアグラウンドのアプリケーション用であったときの、それぞれのアプリケーションの最後の状態である）及び各種の制御インターフェース（例えば、図７Ｊで図示するように、制御センターユーザーインターフェース７０１４、インターネットブラウザユーザーインターフェース５０６０及びメッセージ送信ユーザーインターフェース５００８）を有する各種のアプリケーションの中からインターフェースの選択を可能にするように、構成される。図７Ｋにおいて、接触７００８はタッチスクリーン１１２からリフトオフする。図７Ｌにおいて、接触７０１６による入力（例えば、タップ入力）がメッセージ送信ユーザーインターフェース５００８に対応する位置で検出される。接触７０１６による入力に応答して、図７Ｍで図示するように、メッセージ送信ユーザーインターフェース５００８が表示される。
【０２２２】
図７Ｍは、メッセージで受け取られる仮想オブジェクト（例えば、仮想椅子５０２０）と、仮想椅子５０２０が仮想三次元オブジェクト（例えば、拡張現実ビューにおいて見えるオブジェクト及び／又は異なる角度から見えるオブジェクト）であることを示すための仮想オブジェクトインジケータ５０２２とを含むメッセージバブル５０１８を含む、（例えば、図５Ｂに関する更なる詳細にて説明したような）メッセージ送信ユーザーインターフェース５００８を図示する。メッセージ送信ユーザーインターフェース５００８はまた、送信したテキストメッセージを含むメッセージバブル６００５及び絵文字７０２０を含む受信したテキストメッセージを含むメッセージバブル７０１８を含む。絵文字７０２０は、仮想三次元オブジェクトに対応しない二次元画像である。このために、絵文字７０２０は、仮想オブジェクトインジケータなしで表示される。
【０２２３】
図７Ｎは、マップ７０２４を含むマップユーザーインターフェース７０２２、第１の関心地点のための関心地点情報領域７０２６及び第２の関心地点のための関心地点情報領域７０３２を図示する。例えば、第１の関心地点及び第２の関心地点は、検索入力領域７０２５の検索入力「Ａｐｐｌｅ」に対応するマップ７０２４によって示される領域の中であるかすぐ近くの検索結果である。第１の関心地点情報領域７０２６において、第１の関心地点オブジェクト７０２８が仮想オブジェクトインジケータ７０３０によって表示されて、第１の関心地点オブジェクト７０２８が仮想三次元オブジェクトであることを示す。第２の関心地点情報領域７０３２において、第２の関心地点オブジェクト７０３４は仮想オブジェクトインジケータなしで表示され、それは第２の関心地点オブジェクト７０３４が拡張現実ビューにおいて見える仮想三次元オブジェクトに対応しないからである。
【０２２４】
図７Ｏは、ファイル管理制御７０３８、ファイル管理検索入力領域７０４０、第１のファイル（例えば、ポータブルドキュメントフォーマット（ＰＤＦ）ファイル）のためのファイル情報領域７０４２、第２のファイル（例えば、写真ファイル）のためのファイル情報領域７０４４、第３のファイル（例えば、仮想椅子オブジェクト）のためのファイル情報領域７０４６及び第４のファイル（例えば、ＰＤＦファイル）のためのファイル情報領域７０４８を含む、ファイル管理ユーザーインターフェース７０３６を図示する。第３のファイル情報領域７０４６は、第３のファイルが仮想三次元オブジェクトに対応することを示すためにファイル情報領域７０４６のファイルプレビューオブジェクト７０４５に隣接して表示される仮想オブジェクトインジケータ７０５０を含む。第１のファイル情報領域７０４２、第２のファイル情報領域７０４４及び第４のファイル情報領域７０４８は、これらのファイル情報領域に対応するファイルが拡張現実環境において見える対応する仮想三次元オブジェクトを有しないので、仮想オブジェクトインジケータなしで表示される。
【０２２５】
図７Ｐは、電子メールナビゲーション制御７０５４、電子メール情報領域７０５６及び第１のアタッチメント７０６０の表現及び第２のアタッチメント７０６２の表現を含む電子メールコンテンツ領域７０５８を含む電子メールユーザーインターフェース７０５２を図示する。第１のアタッチメント７０６０の表現は、第１のアタッチメントが拡張現実環境において見える仮想三次元オブジェクトであることを示すための仮想オブジェクトインジケータ７０６４を含む。第２のアタッチメントが拡張現実環境において見える仮想三次元オブジェクトでないので、第２のアタッチメント７０６２は仮想オブジェクトインジケータなしで表示される。
【０２２６】
図８Ａ〜８Ｅは、いくつかの実施形態にしたがって、仮想オブジェクトの表現を表示すると共に第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替える、方法８００を図示しているフローチャートである。方法８００は、ディスプレイ、タッチ感知面及び１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面から反対側のデバイスの側の１つ以上の背面カメラ）を有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル型多機能デバイス１００）で実行される。いくつかの実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面はディスプレイ上にあるか又はディスプレイと統合される。いくつかの実施形態では、ディスプレイは、タッチ感知面から分離している。方法８００のいくつかの操作は任意選択的に組み合わされ、かつ／又は、いくつかの操作の順序は任意選択的に変更される。
【０２２７】
方法８００は、仮想オブジェクトの表現を第１のユーザーインターフェース領域に表示するデバイスのタッチ感知面で接触によって入力を検出することに関する。入力に応答して、デバイスは、第１のユーザーインターフェース領域の少なくとも一部の表示をデバイスの１つ以上のカメラの視野に置き換えると共に、連続的に仮想オブジェクトの表現を表示するべきかどうか判定するための基準を使用する。第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野に置き換えると共に、連続的に仮想オブジェクトの表現を表示するべきかどうか判定するための基準を使用することにより、入力に応答して複数の異なるタイプの操作の実行することが可能となる。入力に応答して（例えば、ユーザーインターフェースの少なくとも一部の表示を１つ以上のカメラの視野に置き換えるか、又は第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野の表現に置き換えることなく、第１のユーザーインターフェース領域の表示を維持することによって）複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することのできる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。
【０２２８】
デバイスは、ディスプレイ１１２上の第１のユーザーインターフェース領域（例えば、二次元のグラフィックユーザーインターフェース又は一部（例えば、家具画像の一覧可能なリスト、１つ以上の選択可能なオブジェクトを含んでいる画像など））に仮想オブジェクトの表現（例えば、仮想椅子５０２０、仮想ランプ５０８４、靴、家具、手工具、装飾、人々、絵文字、ゲームキャラクタ、仮想家具などの、三次元オブジェクトのグラフィック表現）を表示する（８０２）。例えば、第１のユーザーインターフェース領域は、図５Ｂで示すメッセージ送信ユーザーインターフェース５００８又は図５ＡＥで示すインターネットブラウザユーザーインターフェース５０６０である。いくつかの実施形態では、第１のユーザーインターフェース領域は、デバイスを囲んでいる物理的環境の画像以外のバックグラウンドを含む（例えば、第１のユーザーインターフェース領域のバックグラウンドは、予め選択された背景色／パターンであるか、又は、１つ以上のカメラによって並行して取り込まれる出力像と異なり、かつ１つ以上のカメラの視野の有効なコンテンツと異なる背景画像である）。
【０２２９】
ディスプレイ上の第１のユーザーインターフェース領域の仮想オブジェクトの第１の表現を表示すると共に、デバイスは、ディスプレイ上の仮想オブジェクトの表現に対応するタッチ感知面１１２上の位置で、接触による第１の入力を検出する（８０４）（例えば、接触はタッチスクリーンディスプレイ上の仮想オブジェクトの第１の表現上で検出されるか、又は、接触は、仮想オブジェクトの第１の表現を有する第１のユーザーインターフェース領域において並行して表示され、そして、接触によって起動されると仮想オブジェクトのＡＲビューの表示をトリガするように構成されるアフォーダンス上で、検出される）。例えば、第１の入力は、図５Ｃ〜５Ｆに関して記載されている接触５０２０による入力又は図５ＡＦ〜５ＡＬに関して記載されている接触５０８６による入力である。
【０２３０】
接触によって第１の入力を検出することに応答して（８０６）、接触による第１の入力が第１の（例えば、ＡＲトリガ）基準を満たすという判定にしたがって（例えば、ＡＲトリガ基準は、スワイプ入力、タッチホールド入力、押圧入力、タップ入力、所定の強度閾値以上の強度を有する激しい押圧又は、カメラのアクティブ化、デバイスを囲んでいる物理的環境の拡張現実（ＡＲ）ビューの表示、物理的環境の拡張現実ビュー内部の仮想オブジェクトの三次元の配置及び／若しくは上記のアクションの２つ以上の組合せをトリガすることに関連した、所定の別のタイプの入力ジェスチャを識別するように構成される基準である）、デバイスは、第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野の表現に置き換えることを含むディスプレイ上の第２のユーザーインターフェース領域を表示し、そして、デバイスは、仮想オブジェクトの表現を連続的に表示すると共に、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替える。例えば、ディスプレイ上の第２のユーザーインターフェース領域は、図５Ｈに関して記載されているプラッタ５０３０のカメラの視野５０３４又は図５ＡＨに関して記載されているカメラの視野５０３４である。図５Ｃ〜５Ｉにおいて、接触５０２６による入力が深い押圧強度閾値ＩＴＤを上回って増加する特性強度を有するという判定にしたがって、仮想椅子オブジェクト５０２０は、連続的に表示されると共に、第１のユーザーインターフェース領域（メッセージ送信ユーザーインターフェース５００８）を表示することから、メッセージ送信ユーザーインターフェース５００８の一部の表示をプラッタ５０３０のカメラの視野５０３４に置き換える第２のユーザーインターフェース領域を表示することに切り替える。図５ＡＦ〜５ＡＨにおいて、接触５０８６による入力が深い押圧強度閾値ＩＴＤを上回って増加する特性強度を有するという判定にしたがって、仮想ランプオブジェクト５０８４は、連続的に表示されると共に、第１のユーザーインターフェース領域（インターネットブラウザユーザーインターフェース５０６０）を表示することから、インターネットブラウザユーザーインターフェース５０６０の一部の表示をカメラの視野５０３４に置き換える第２のユーザーインターフェース領域を表示することに切り替える。
【０２３１】
いくつかの実施形態では、連続的に仮想オブジェクトの表現を表示することは、仮想オブジェクトの表現の表示を維持するか又は仮想オブジェクトの第２の表現に変化している仮想オブジェクトの第１の表現のアニメーション化された遷移（例えば、異なるサイズの、異なる視角からの、異なる描画スタイルの、又は、ディスプレイ上の異なる位置の、仮想オブジェクトのビュー）を表示することを含む。いくつかの実施形態では、１つ以上のカメラの視野５０３４は、デバイスの位置及び向きが（例えば、図５Ｋ〜５Ｌで図示されるように）物理的環境に対して変化するときにリアルタイムに更新される、デバイスを囲んでいる物理的環境５００２のライブ画像を表示する。いくつかの実施形態では、第２のユーザーインターフェース領域は、ディスプレイ上の第１のユーザーインターフェース領域を完全に置き換える。
【０２３２】
いくつかの実施形態では、第２のユーザーインターフェース領域は、第１のユーザーインターフェース領域の一部に重なる（例えば、第１のユーザーインターフェース領域の一部は、ディスプレイの端に沿って、又は、ディスプレイの境界周辺に示される）。いくつかの実施形態では、第２のユーザーインターフェース領域は、第１のユーザーインターフェース領域の隣にポップアップする。いくつかの実施形態では、第１のユーザーインターフェース領域の中のバックグラウンドは、カメラの視野５０３４のコンテンツと置き換えられる。いくつかの実施形態では、デバイスは、第１のユーザーインターフェース領域で示す第１の向きから第２の向き（例えば、１つ以上のカメラの視野において捕えられる物理的環境の一部の現在の向きに対して所定の向き）まで（例えば、図５Ｅ〜５Ｉで図示されるように）移動して回転している仮想オブジェクトを示す、アニメーション化された遷移を表示する。例えば、アニメーションは、仮想オブジェクトの二次元の表現を表示すると共に第１のユーザーインターフェース領域を表示することから、仮想オブジェクトの三次元の表現を表示すると共に第２のユーザーインターフェース領域を表示することへの遷移を含む。いくつかの実施形態では、仮想オブジェクトの三次元の表現は、二次元のグラフィカルユーザーインターフェース（例えば、第１のユーザーインターフェース領域）に示すように仮想オブジェクトの形状及び向きに基づいて予め定義されるアンカー平面を有する。拡張現実ビュー（例えば、第２のユーザーインターフェース領域）に遷移するときに、仮想オブジェクトの三次元の表現はディスプレイ上の仮想オブジェクトの元の位置からディスプレイ上の新しい位置まで（例えば、拡張現実ビューの中央又は拡張現実ビューの別の所定の位置まで）移動されて、サイズ変更されて、方向変更されて、そして、移動の間、又は、移動の終了後、仮想オブジェクトの三次元の表現が１つ以上のカメラの視野において識別される所定のプレーン（例えば、仮想オブジェクトの三次元の表現のためのサポートプレーンとして役割を果たすことができる直立壁又は水平床面などの物理表面）に対する所定の位置及び／又は向きにあるように、仮想オブジェクトの三次元の表現は方向変更される。
【０２３３】
いくつかの実施形態では、第１の基準は、少なくとも所定の時間（例えば、長い押圧の時間閾値）の間に閾値移動量未満で仮想オブジェクトの表現に対応する、タッチ感知面上の場所に接触が維持されるときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（８０８）。いくつかの実施形態では、接触が別のタイプのジェスチャ（例えば、タップ）を認識するための基準を満たすという判定にしたがって、デバイスはＡＲユーザーインターフェースをトリガさせること以外の別の所定の機能を実行すると共に仮想オブジェクトの表示を維持する。連続的に仮想オブジェクトの表現を表示すると共に第１のユーザーインターフェース領域の少なくとも一部の表示をカメラの視野に置き換えるべきかどうかを判定することは、接触が少なくとも所定の時間の間に閾値移動量未満で仮想オブジェクトの表現に対応するタッチ感知面上の場所に維持されるかどうかに応じて、入力に応答した複数の異なるタイプの操作の実行を可能にする。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。
【０２３４】
いくつかの実施形態では、第１の基準は、接触の特性強度が第１の強度閾値（例えば、軽い押圧強度閾値ＩＴＬ又は深い押圧強度閾値ＩＴＤ）を上回って増加するときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（８１０）。例えば、図５Ｃ〜５Ｆに関して記載されているように、基準は、強度レベルメータ５０２８によって示されるように、接触５０２６の特性強度が深い押圧強度閾値ＩＴＤを上回って増加するときに満たされる。いくつかの実施形態では、接触が別のタイプのジェスチャ（例えば、タップ）を認識するための基準を満たすという判定にしたがって、デバイスはＡＲユーザーインターフェースをトリガさせること以外の別の所定の機能を実行すると共に仮想オブジェクトの表示を維持する。いくつかの実施形態では、第１の基準は、第１の入力がタップ入力でない（例えば、入力が、時間的閾値より大きい接触のタッチダウンとタップ接触のリフトオフの間の経過時間を有する）ことを要求する。連続的に仮想オブジェクトの表現を表示すると共に第１のユーザーインターフェース領域の少なくとも一部の表示をカメラの視野に置き換えるべきかどうかを判定することは、接触の特性強度が第１の強度閾値を上回って増加するかどうかに応じて、入力に応答した複数の異なるタイプの操作の実行を可能にする。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。
【０２３５】
いくつかの実施形態では、第１の基準は、接触の移動が所定の移動基準に合うときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（８１２）（例えば、接触が所定の閾値位置（例えば、第１のユーザーインターフェース領域の境界に対応する位置、接触の元の位置から間隔をおいた閾値距離である位置など）を越えたタッチ感知面にわたって移動する、接触が所定の閾値速度より大きい速度で移動する、接触の移動が押圧入力によって終了する、などである）。いくつかの実施形態では、仮想オブジェクトの表現は接触の移動の初期部分の間、接触によってドラッグされ、そして仮想オブジェクトは、第１の基準が満たされようとしていることを示すために所定の移動の基準を接触の移動が満たそうとするときに、接触とともに移動するのを止め、そして、接触の移動が続いて所定の移動の基準が接触の連続的な移動によって満たされる場合、第２のユーザーインターフェース領域を表示して、拡張現実ビューの範囲内に仮想オブジェクトを表示する遷移が始まる。いくつかの実施形態では、仮想オブジェクトが第１の入力の初期部分の間ドラッグされるときに、オブジェクトサイズ及びビューイング視点は変化せず、そして、いったん拡張現実ビューが表示されて仮想オブジェクトが拡張現実ビューの位置にドロップされると、仮想オブジェクトは、拡張現実ビューの仮想オブジェクトのドロップオフの位置によって表される物理的位置に依存したサイズ及びビューイング視点によって表示される。連続的に仮想オブジェクトの表現を表示すると共に第１のユーザーインターフェース領域の少なくとも一部の表示をカメラの視野に置き換えるべきかどうかを判定することは、接触の移動が所定の移動基準を満たすかどうかに応じて、入力に応答した複数の異なるタイプの操作の実行を可能にする。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。
【０２３６】
いくつかの実施形態では、接触によって第１の入力を検出することに応答して、接触による第１の入力が第１の基準を満たしたという判定にしたがって、デバイスは、１つ以上の触知出力生成器１６７で、触知出力（例えば、図５Ｆに関して記載されている触知出力５０３２又は図５ＡＨに関して記載されている触知出力５０８８）を出力して、第１の入力によって第１の基準が満たされていることを示す（８１４）。いくつかの実施形態では、触覚は１つ以上のカメラの視野が画面に現れる前に発生する。例えば、触覚は、１つ以上のカメラのアクティブ化及び１つ以上のカメラの視野の次のプレーン検出をトリガする第１の基準が満たされていることを示す。カメラがアクティブ化されて視野が表示に利用可能となるために時間かかるので、触覚は、デバイスが必要な入力を検出したというユーザーに対する非視覚信号としての役割を果たし、デバイスが準備できるとすぐに拡張現実ユーザーインターフェースを提示する。
【０２３７】
触知出力を出力して（例えば、ユーザーインターフェースの少なくとも一部の表示をカメラの視野に置き換えるために）基準が満たされていることを示すことは、与えられている入力が基準を満たすことを示すためのフィードバックをユーザー提供する。改良された触知フィードバックを提供することは、デバイスの操作性を高め（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
【０２３８】
いくつかの実施形態では、第１の入力の少なくとも初期部分を（例えば、接触を検出するか、又は第１の基準を満たすことのないそれぞれの所定の基準を満たす接触によって入力を検出するか、又は第１の基準を満たす入力を検出することを含んで）検出することに応答して、デバイスは１つ以上のカメラの視野を分析して、１つ以上のカメラの視野の１つ以上のプレーン（例えば、床面５０３８、テーブル面５０４６、壁など）を検出する（８１６）。いくつかの実施形態では、１つ以上のカメラは第１の入力の少なくとも一部を検出することに応答してアクティブ化され、カメラがアクティブ化されると同時にプレーン検出が同時に起動される。いくつかの実施形態では、１つ以上のカメラの視野の表示は、１つ以上のカメラのアクティブ化の後に（例えば、１つ以上のカメラがアクティブ化される時から少なくとも１つのプレーンがカメラの視野において検出される時まで）遅らされる。いくつかの実施形態では、１つ以上のカメラの視野の表示は１つ以上のカメラがアクティブ化される時に起動され、そしてプレーン検出は、視野がディスプレイに（例えば、第２のユーザーインターフェース領域に）すでに見えたあと、完了する。いくつかの実施形態では、１つ以上のカメラの視野のそれぞれのプレーンを検出した後に、デバイスは、１つ以上のカメラの視野に対するそれぞれのプレーンの相対位置に基づいて、仮想オブジェクトの表現のサイズ及び／又は位置を決定する。いくつかの実施形態では、電子デバイスが移動されるにつれて、仮想オブジェクトの表現のサイズ及び／又は位置は、１つ以上のカメラの視野の位置が（例えば、図５Ｋ〜５Ｌに関して記載されているように）それぞれのプレーンに対して変化するにつれて更新される。カメラの視野において検出されるそれぞれのプレーンの位置に基づいて（例えば、カメラの視野に対する仮想オブジェクトのサイズ及び／又は位置の更なるユーザー入力を要求せずに）仮想オブジェクトの表現のサイズ及び／又は位置を決定することは、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
【０２３９】
いくつかの実施形態では、１つ以上のカメラの視野を分析して１つ以上のカメラの視野の１つ以上のプレーンを検出することは、ディスプレイ上の仮想オブジェクトの表現に対応するタッチ感知面上の場所での接触の検出に応答して（例えば、仮想椅子５０２０に対応するタッチスクリーン１１２上の位置での接触５０２６の検出に応答して）起動される（８１８）。例えば、カメラのアクティブ化及びカメラの視野のプレーンの検出は、第１の基準が第１の入力によって満たされる前に（例えば、図５Ｆに関して記載されているように、接触５０２６の特性強度が深い押圧強度閾値ＩＴＤを上回って増加する前に）、そして、第２のユーザーインターフェース領域が表示される前に、始まる。仮想オブジェクトとの任意のインタラクションの検出に際してプレーン検出を始めることによって、プレーン検出はＡＲトリガ基準が満たされる前に完了することができ、したがって、ＡＲトリガ基準が第１の入力によって満たされるときに、拡張現実ビューに仮想オブジェクト遷移を見るにあたってユーザーには目に見える遅延がない。分析を起動して仮想オブジェクトの表現の位置での接触の検出に応答して（例えば、カメラの視野の分析を起動するための更なるユーザー入力を必要とせずに）カメラの視野の１つ以上のプレーンを検出することは、デバイスの有効性を強化し、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
【０２４０】
いくつかの実施形態では、１つ以上のカメラの視野を分析して１つ以上のカメラの視野の１つ以上のプレーンを検出することは、接触によって、第１の基準が第１の入力によって満たされていることを検出することに応答して（例えば、図５Ｆに関して記載されているように、接触５０２６の特性強度が深い押圧強度閾値ＩＴＤを上回って増加することを検出することに応答して）起動される（８２０）。例えば、カメラのアクティブ化及びカメラの視野のプレーンの検出は、第１の基準が第１の入力によって満たされるときに始まり、そして、カメラの視野は平面検出が完了する前に表示される。ＡＲトリガ基準が満たされる際にカメラアクティブ化及びプレーン検出を始めることによって、カメラ及びプレーン検出は不必要にアクティブ化されずまた続行されず、それがバッテリ電力を節約してバッテリ寿命及びカメラ寿命を延ばす。
【０２４１】
いくつかの実施形態では、１つ以上のカメラの視野を分析して１つ以上のカメラの視野の１つ以上のプレーンを検出することは、第１の入力の初期部分が第１の基準を満たすことのないプレーン検出トリガ基準を満たすことを検出することに応答して、起動される（８２２）。例えば、カメラのアクティブ化及びカメラの視野のプレーンの検出は、いくつかの基準（例えば、ＡＲトリガ基準より厳しくない基準）が第１の入力の初期部分によって満たされるときに始まり、そして、カメラの視野は平面検出が完了する前に任意選択的に表示される。接触の検出の際ではなくむしろ特定の基準が満たされた後に、カメラアクティブ化及びプレーン検出を始めることによって、カメラ及びプレーン検出は不必要にアクティブ化されずまた続行されず、それがバッテリ電力を節約してバッテリ寿命及びカメラ寿命を延ばす。ＡＲトリガ基準が満たされる前にカメラアクティブ化及びプレーン検出を始めることによって、ＡＲトリガ基準が第１の入力によって満たされると、拡張現実ビューへの仮想オブジェクト遷移を表示するための遅延（カメラアクティブ化及びプレーン検出による）は減じられる。
【０２４２】
いくつかの実施形態では、デバイスは、仮想オブジェクト（例えば、仮想椅子５０２０）が１つ以上のカメラの視野５０３４において検出されるそれぞれのプレーンに対する所定の角度（例えば、仮想椅子５０２０の４本の脚部の下側を床面５０３８から切り離している距離が無い（又はわずかな距離である）ような）で配向されるように、それぞれの方法で第２のユーザーインターフェース領域に仮想オブジェクトの表現を表示する（８２４）。例えば、それぞれのプレーンに対する仮想オブジェクトの向き及び／又は位置は、二次元のグラフィカルユーザーインターフェースに示すように、仮想オブジェクトの形状及び向きに基づいて予め定義される（例えば、それぞれのプレーンは拡張現実ビューの仮想オブジェクトの三次元表現のための支持面として役割を果たすことができる水平物理表面（例えば、花瓶をサポートする水平テーブル面）に対応するか、又は、それぞれのプレーンは、拡張現実ビューの仮想オブジェクトの三次元表現のための支持面として役割を果たすことができる垂直物理表面（例えば、仮想画枠を懸下する水平壁）である）。いくつかの実施形態では、仮想オブジェクトの向き及び／又は位置は、仮想オブジェクトのそれぞれの表面又は境界（例えば、底面、底部境界点、側面及び／又は側部境界点）によって画定される。いくつかの実施形態では、それぞれのプレーンに対応するアンカー平面は、仮想オブジェクトの一組の特性の中の１つの特性であり、仮想オブジェクトが表すことになっている物理的オブジェクトの性質にしたがって指定される。いくつかの実施形態では、仮想オブジェクトは、１つ以上のカメラの視野において検出される複数のプレーンに対して所定の向き及び／又は位置に配置される（例えば、仮想オブジェクトの複数のそれぞれの側は、カメラの視野において検出されるそれぞれのプレーンと関連付けられる）。いくつかの実施形態では、仮想オブジェクトのために予め定義される向き及び／又は位置が仮想オブジェクトの横下部プレーンに対して定められる場合、仮想オブジェクトの下部プレーンは、カメラの視野において検出される床平面に表示される（例えば、仮想オブジェクトの水平下部プレーンは、床平面から距離ゼロで床平面と平行である）。いくつかの実施形態では、仮想オブジェクトのために予め定義される向き及び／又は位置が仮想オブジェクトの垂直バックプレーンに対して定められる場合、仮想オブジェクトの背面は、１つ以上のカメラの視野において検出される壁面に対して配置される（例えば、仮想オブジェクトの垂直バックプレーンは、壁面から距離ゼロで壁面と平行である）。いくつかの実施形態では、仮想オブジェクトは、それぞれのプレーンに対して固定の距離かつ／又はそれぞれのプレーンに対してゼロ又は直角以外の角度で配置される。カメラの視野において検出されるプレーンに対して（例えば、カメラの視野の平面に対して仮想オブジェクトを表示するための更なるユーザー入力を必要とせずに）仮想オブジェクトの表現を表示することは、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
【０２４３】
いくつかの実施形態では、１つ以上のカメラの視野のそれぞれのプレーンを検出することに応答して、デバイスは、１つ以上の触知出力生成器１６７で、触知出力を出力して、１つ以上のカメラの視野のそれぞれのプレーンの検出を示す（８２６）。いくつかの実施形態では、それぞれの触知出力は、カメラの視野において検出される各プレーン（例えば、床面５０３８及び／又はテーブル面５０４６）に発生する。いくつかの実施形態では、プレーン検出が完了するときに、触知出力は発生する。いくつかの実施形態では、触知出力には、第２のユーザーインターフェース部に示される視野の視野平面の視覚的な指示（例えば、検出された視野平面の瞬間的な強調表示）が伴う。触知出力を出力してカメラの視野におけるプレーンの検出を示すことは、ユーザーにプレーンが検出されたことを示すためのフィードバックを提供する。改良された触知フィードバックを提供することはデバイスの操作性を高め（例えば、ユーザーが適切な入力を提供するのを支援しかつ仮想オブジェクトを配置するための必要な追加入力を減らすことによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
【０２４４】
いくつかの実施形態では、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替えると共に、デバイスは、仮想オブジェクトの表現が第２のユーザーインターフェース領域に遷移する（例えば、移動し、回転し、サイズ変更し、及び／又は異なるスタイルに再描画されるなど）につれて、それぞれのプレーンに対して所定の位置に（例えば、図５Ｆ〜５Ｉで図示されるように）、アニメーションを表示し（８２８）、そして、それぞれのプレーンに対して所定の角度で仮想オブジェクトの表現を表示することと連動して（例えば、それぞれのプレーンに対して所定の向き及び／又は位置で、そして拡張現実ビューに表示される最終状態に達するそのサイズ、回転角及び外観で）、デバイスは、１つ以上の触知出力生成器１６７で触知出力を出力して、第２のユーザーインターフェース領域のそれぞれのプレーンに対して所定の角度で仮想オブジェクトの表示を示す。例えば、図５Ｉで図示するように、デバイスは、床面５０３８に対して所定の角度で仮想椅子５０２０を表示することと連動して、触知出力５０３６を出力する。いくつかの実施形態では、発生する触知出力は、仮想オブジェクト又は仮想オブジェクトによって表される物理オブジェクトの、重量（例えば、重い対軽い）、材料（例えば、金属、綿、木、大理石、液体、ゴム、ガラス）、サイズ（例えば、大きい対小さい）、形状（例えば、薄い対厚い、長い対短い、丸い対とがったなど）、弾性（例えば、弾力あり対固い）、性質（例えば、陽気対厳粛、穏やか対力強いなど）及び他の特性を反映している特徴（例えば、振動数、サイクル数、変調、振幅、付随する音声波など）を有するように、構成される。例えば、触知出力は図４Ｆ〜４Ｋで図示される触知出力パターンの１つ以上を使用する。いくつかの実施形態では、１つ以上の特性に対する経時的な１つ以上の変化を含む予め設定されたプロフィールは仮想オブジェクト（例えば、絵文字）に対応する。例えば、「よく弾む」触知出力プロフィールは、「にこにこした」絵文字仮想オブジェクトのために提供される。触知出力を出力してそれぞれのプレーンに対して仮想オブジェクトの表現の配置を示すことは、ユーザーにフィードバックを提供して、仮想オブジェクトの表現がそれぞれのプレーンに対して自動的に配置されたことを示す。改良された触知フィードバックを提供することはデバイスの操作性を高め（例えば、ユーザーが適切な入力を提供するのを支援しかつ仮想オブジェクトを配置するための必要な追加入力を減らすことによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
【０２４５】
いくつかの実施形態（８３０）において、触知出力は、仮想オブジェクトの特性（例えば、サイズ、密度、質量及び／又は材料などの擬似的な物理的特性）に対応する触知出力プロフィールを有する。いくつかの実施形態では、触知出力プロフィールは、仮想オブジェクトの１つ以上の特性（例えば、重量、材料、サイズ、形状及び／又は弾力）に基づいて変化する特性（例えば、周波数、サイクル数、変調、振幅、付随する音声波など）を有する。例えば、触知出力は図４Ｆ〜４Ｋで図示される触知出力パターンの１つ以上を使用する。いくつかの実施形態では、触知出力の振幅及び／又は期間は、仮想オブジェクトのサイズ、重量及び／又は質量が増加するにつれて増加する。いくつかの実施形態では、触知出力パターンは、仮想オブジェクトが構成される仮想材料に基づいて選択される。仮想オブジェクトの特性に対応するプロフィールを有する触知出力を出力することは、ユーザーにフィードバックを提供して仮想オブジェクトの特性に関する情報を示す。改良された触知フィードバックを提供することはデバイスの操作性を高め（例えば、ユーザーが適切な入力を提供するのを支援しかつ仮想オブジェクトを配置するための必要な追加入力を減らして、特性に関する表示された情報とのユーザーインターフェースを混乱させることなくユーザーが仮想オブジェクトの特性を知覚することを可能にする感覚情報を提供することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
【０２４６】
いくつかの実施形態において、第２のユーザーインターフェース領域の仮想オブジェクトの表現を調整すると共に、デバイスは、（図５Ｋ〜５Ｌで図示するように）１つ以上のカメラの視野５０３４を調整するデバイスの移動（例えば、デバイスの横方向の移動及び／又は回転）を検出し（８３２）、そして、デバイスの移動を検出することに応答して、デバイスは、第２のユーザーインターフェース領域の仮想オブジェクト（例えば、仮想椅子５０２０）の表現を、仮想オブジェクトと１つ以上のカメラの視野のそれぞれのプレーン（例えば、床面５０３８）の間の固定された空間関係（例えば、向き及び／又は位置）にしたがって、１つ以上のカメラの視野が調整されるにつれて、調整する（例えば、仮想オブジェクトは、仮想オブジェクトの表現とプレーンの間の固定角が維持される（例えば、仮想オブジェクトがプレーン上の固定位置にとどまるか又は視野平面に沿って転がるように見える）ような向き及び位置によってディスプレイ上に表示される）。例えば、図５Ｋ〜５Ｌで、カメラの視野５０３４を含む第２のユーザーインターフェース領域の仮想椅子５０２０は、デバイス１００が移動されるにつれて、床面５０３８に対して固定された向き及び位置を維持する。いくつかの実施形態では、仮想オブジェクトは周囲の物理的環境５００２に対して静止していてかつ変化しないように見え、すなわち、仮想オブジェクトの表現は、デバイスの位置及び／又は向きが変化するにつれて、デバイスが周囲の物理的環境に対して移動すると１つ以上のカメラの視野が変化するので、ディスプレイ上のサイズ、位置及び／又は向きが変化する。仮想オブジェクトとそれぞれのプレーンの間の固定関係にしたがって（例えば、それぞれのプレーンに対して仮想オブジェクトの位置を維持するための更なるユーザー入力を必要とせずに）仮想オブジェクトの表現を調整することはデバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
【０２４７】
いくつかの実施形態では、（例えば、第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野の表現に置き換えることに対応するときに、）デバイスは、仮想オブジェクト（例えば、仮想椅子５０２０）の表現が連続的に表示されるにつれて、（例えば、５Ｆ〜５Ｉで図示するように）アニメーション（例えば、移動、１つ以上の軸の周りの回転及び／又はスケーリング）を表示すると共に第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替える（８３４）。例えば、アニメーションは、仮想オブジェクトの二次元の表現を表示すると共に第１のユーザーインターフェース領域を表示することから、仮想オブジェクトの三次元の表現を表示すると共に第２のユーザーインターフェース領域を表示することへの遷移を含む。いくつかの実施形態では、仮想オブジェクトの三次元の表現は、１つ以上のカメラの視野において捕えられる物理的環境の一部の現在の向きに対して予め定義される向きを有する。いくつかの実施形態では、拡張現実ビューに遷移するときに、仮想オブジェクトの表現はディスプレイ上の初期位置からディスプレイ上の新しい位置（例えば、拡張現実ビューの中央又は拡張現実ビューの別の所定の位置）まで移動され、サイズ変更され、方向変更されて、移動の間、又は、移動の終了後、仮想オブジェクトがカメラの視野において検出されるプレーン（例えば、仮想オブジェクトの表現を支持することができる直立壁又は水平床面などの物理表面）に対して固定角であるように、方向変更される。いくつかの実施形態では、アニメーション化された遷移が発生するにつれて、仮想オブジェクトの照明及び／又は仮想オブジェクトによる影投射は（例えば、１つ以上のカメラの視野において検出される環境照明と一致するように）調整される。仮想オブジェクトの表現としてアニメーションを表示すると共に第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域に切り替えることは、第１の入力が第１の基準を満たすことを示すためのフィードバックをユーザーに提供する。改良されたフィードバックを提供することは、デバイスの操作性を高め（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
【０２４８】
いくつかの実施形態では、ディスプレイ上に第２のユーザーインターフェース領域を表示すると共に、デバイスは第２の接触（例えば、接触５０４０）によって第２の入力を検出し（８３６）、そこにおいて、第２の入力は（任意選択的に、仮想オブジェクトの表現を選択するための第２の接触による押圧又はタッチ入力、及び）（例えば、図５Ｎ〜５Ｐで図示するように）ディスプレイにわたる第１のパスに沿った第２の接触の移動を含み、そして、第２の接触によって第２の入力を検出することに応答して、デバイスは、第１のパスに対応する（例えば、同じものであるか、又はそれに拘束された）２本目のパスに沿った第２のユーザーインターフェース領域に仮想オブジェクト（例えば、仮想椅子５０２０）の表現を移動する。いくつかの実施形態では、第２の接触は第１の接触とは異なり、第１の接触のリフトオフの後に（例えば、（図５Ｃ〜５Ｆの接触５０２６のリフトオフの後に検出される）図５Ｎ〜５Ｐの接触５０４０で示すように）検出される。いくつかの実施形態では、第２の接触は、（例えば、（ＡＲトリガ基準を満たして、その後、タッチスクリーン１１２を横切って仮想ランプ５０８４を移動する）接触５０８６による入力で示すように）タッチ感知面上で連続的に維持される第１の接触と同じである。いくつかの実施形態では、仮想オブジェクト上のスワイプ入力は仮想オブジェクトを回転させると共に、仮想オブジェクトの移動は任意選択的にカメラの視野のプレーンによって拘束される（例えば、スワイプ入力は、カメラの視野の床面上の椅子の表現を回転させる）。入力を検出することに応答して仮想オブジェクトの表現を移動することは、仮想オブジェクトの表示された位置がユーザー入力に応答して移動可能なことを示すためのフィードバックをユーザーに提供する。改良されたフィードバックを提供することは、デバイスの操作性を高め（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
【０２４９】
いくつかの実施形態では、仮想オブジェクトの表現が接触の移動及び仮想オブジェクトに対応するそれぞれのプレーンに基づいて２本目のパスに沿って移動するにつれて、デバイスは仮想オブジェクトの表現のサイズを（例えば、視野の仮想オブジェクトの正確な視点を維持するために、仮想オブジェクトの表現からユーザーまでの仮想距離に基づいて）調整する（８３８）。例えば、図５Ｎ〜５Ｐで、仮想椅子５０２０のサイズは、仮想椅子が、デバイス１００から離れてかつテーブル５００４の方へカメラの視野５０３４の中により深く移動するにつれて、減少する。仮想オブジェクトの表現が接触の移動及び仮想オブジェクトに対応するプレーンに基づいて第２のパスに沿って移動するにつれて、（例えば、仮想オブジェクトの表現をカメラの視野の環境に対して現実的なサイズに維持するように仮想オブジェクトの表現のサイズを調整するための更なるユーザー入力必要とせずに）仮想オブジェクトの表現のサイズを調整することは、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
【０２５０】
いくつかの実施形態では、仮想オブジェクトの表現が（例えば、図５ＡＩ〜５ＡＬで図示するように）第２のパスに沿って移動するにつれて、デバイスは仮想オブジェクト（例えば、仮想ランプ５０８４）の表現の第１のサイズを維持し（８４０）、デバイスは第２の接触（例えば、図５ＡＬ〜午前５時で図示するように、第２の接触のリフトオフを検出することを含む）によって第２の入力の終了を検出し、そして、第２の接触によって第２の入力の終了を検出することに応答して、デバイスは第２のユーザーインターフェース領域のドロップオフの位置（例えば、テーブル面５０４６に）に仮想オブジェクトの表現を配置して、第１のサイズとは異なる第２のサイズで第２のユーザーインターフェース領域のドロップオフの位置に仮想オブジェクトの表現を表示する（例えば、図５ＡＭの仮想ランプ５０８４のサイズは、接触５０８６による入力の終了の後、接触５０８６による入力の終了の前の図５ＡＬの仮想ランプ５０８４のサイズとは異なる）。例えば、接触によってドラッグされている間、オブジェクトはそのサイズ及びビューイング視点を変えず、そして、オブジェクトが拡張現実ビューのその最終位置下ろされると、オブジェクトはカメラの視野に表示される仮想オブジェクトのドロップオフの位置に対応する物理的環境の物理的位置に基づいて決定されるサイズ及びビューイング視点によって表示され、それにより、ドロップオフの位置がカメラの視野の第１の位置であるという決定にしたがって、オブジェクトは第２のサイズを有する、そして、ドロップオフの位置がカメラの視野の第２の位置であるという決定にしたがって、オブジェクトは第２のサイズと異なる第３のサイズを有し、そこにおいて、第２及び第３のサイズは１つ以上のカメラからのドロップオフの位置の距離に基づいて選択される。仮想オブジェクトを移動する第２の入力の終了の検出に応答して、（例えば、仮想オブジェクトをカメラの視野の環境に対して現実的なサイズに維持するように仮想オブジェクトのサイズを調整するための更なるユーザー入力必要とせずに）仮想オブジェクトの表現を変更されたサイズで表示することは、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
【０２５１】
いくつかの実施形態では、ディスプレイにわたる第１のパスに沿った第２の接触の移動が第２の基準を満たす（例えば、第１のパスの終わりに、接触は、ディスプレイの端（例えば、下端、上端、又は側端）の閾値距離内若しくはそれの外側か、又は第２のユーザーインターフェース領域の端にある）という判定にしたがって、デバイス（８４２）は、１つ以上のカメラの視野の表現を含んでいる第２のユーザーインターフェース領域を表示することをやめ、そして、仮想オブジェクトの表現を有する（完全な）第１のユーザーインターフェース領域を再表示する（例えば、第１のユーザーインターフェース領域の一部が以前第２のユーザーインターフェース領域と並行して表示されている場合、第２のユーザーインターフェース領域がもはや表示されなくなった後に、デバイスは完全な第１のユーザーインターフェース領域を表示する）。例えば、図５Ｖ〜５Ｘで図示するように、タッチスクリーン１１２の端に仮想椅子５０５４をドラッグする接触５０５４の移動に応答して、カメラの視野５０３４は表示されなくなり、図５Ｙ〜５ＡＤで図示するように、完全なメッセージ送信ユーザーインターフェース５００８が再表示される。いくつかの実施形態では、接触がディスプレイの端又は第２のユーザーインターフェース領域の端に接近するにつれて、第２のユーザーインターフェース領域がフェードアウトし（例えば、図５Ｘ〜５Ｙで図示されるように）、かつ／又は、第１のユーザーインターフェース領域（の表示されないか又はブロックされる部分）がフェードインする（例えば、図５Ｚ〜５ＡＡで図示されるように）。いくつかの実施形態では、非ＡＲビュー（例えば、第１のユーザーインターフェース領域）からＡＲビュー（例えば、第２のユーザーインターフェース領域）まで遷移するためのジェスチャ及びＡＲビューから非ＡＲビューまで遷移するためのジェスチャは、同一である。例えば、現在表示されているユーザーインターフェースの閾値位置を越えた（例えば、現在表示されているユーザーインターフェース領域の境界の閾値距離の範囲内、又は、現在表示されているユーザーインターフェース領域の境界を越えた）仮想オブジェクト上のドラッグジェスチャは、現在表示されているユーザーインターフェース領域から相手方ユーザーインターフェース領域への（例えば、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することへの、あるいは、第２のユーザーインターフェース領域を表示することから第１のユーザーインターフェース領域を表示することへの）遷移を引き起こす。いくつかの実施形態では、視覚的な指示（例えば、現在表示されているユーザーインターフェース領域をフェードアウトさせて、相手方ユーザーインターフェースをフェードインさせる）は、第１／第２の基準が満たされる前に表示され、そして、入力が続いて、かつ入力（例えば、接触のリフトオフ）の終了が検出される前に第１／第２の基準が満たされない場合はその逆にできる。入力基準を満たす入力を検出することに応答して第１のユーザーインターフェースを再表示することは、第２のユーザーインターフェースを追加的な表示された制御（例えば、第２のユーザーインターフェースから第１のユーザーインターフェースを表示するための制御）で混乱させることのない追加的な制御オプションを提供する。第２のユーザーインターフェースを追加的な表示された制御で混乱させることのない追加的な制御オプションを提供することはデバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
【０２５２】
いくつかの実施形態では、第１のユーザーインターフェース領域を再表示することに対応する時間に、デバイスは、第２のユーザーインターフェース領域に仮想オブジェクトの表現を表示することから第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示する（例えば、図５ＡＢ〜５ＡＤの仮想椅子５０２０のアニメーションで図示するように）ことへのアニメーション化された遷移（例えば、移動、１つ以上の軸のまわりの回転及び／又はスケーリング）を表示する（８４４）。第２のユーザーインターフェースの仮想オブジェクトの表現を表示することから第１のユーザーインターフェースの仮想オブジェクトの表現を表示することへのアニメーション化された遷移を（例えば、更にユーザー入力が第１のユーザーインターフェースの仮想オブジェクトを再位置付けすることを必要とせずに）表示することはデバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
【０２５３】
いくつかの実施形態では、第２の接触が第１のパスに沿って移動するにつれて、デバイスは、接触の現在位置に対応する１つ以上のカメラの視野において識別される１つ以上のそれぞれのプレーンの外観を変える（例えば、１つ以上のプレーンの外観を強調し、マークし、輪郭を描き、かつ／又は、さもなければ視覚的に変える）（８４６）。例えば、接触５０４２が図５Ｏ〜５Ｐの矢印５０４２及び５０４４で示すようにパスに沿って仮想椅子５０２０をドラッグするにつれて、床面５０３８は強調される（例えば、接触５０４２の移動の前の図５Ｍと比較して）。いくつかの実施形態では、接触がカメラの視野において検出される第１のプレーンに対応する位置にあるという判定にしたがって、第１のプレーンが強調される。接触がカメラの視野で検出される第２のプレーンに対応する位置へ（例えば、図５Ｓ〜５Ｕで図示するように）移動したという判定にしたがって、第１のプレーン（例えば、床面５０３８）は強調されなくなり、そして第２のプレーン（例えば、テーブル面５０４６）が強調される。いくつかの実施形態では、複数のプレーンが同時に強調される。いくつかの実施形態では、複数の視覚的に変更されたプレーンの第１のプレーンは、他のプレーンが視覚的に変えられる方法とは異なった方法で視覚的に変更されて、接触が第１のプレーンに対応する位置にあることを示す。カメラの視野において識別される１つ以上のそれぞれのプレーンの外観を変えることは、プレーン（例えば、これに対して仮想オブジェクトを配置することができる）が識別されたことを示すためのフィードバックをユーザーに提供する。改良された視覚フィードバックを提供することは、デバイスの操作性を高め（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
【０２５４】
いくつかの実施形態では、接触によって第１の入力を検出することに応答して、接触による第１の入力が第３の（例えば、ステージングユーザーインターフェースディスプレイ）基準（例えば、ステージングユーザーインターフェースディスプレイ基準は、スワイプ入力、タッチホールド入力、押圧入力、タップ入力又は所定の強度閾値を上回った強度を有する激しい押圧を識別するように構成される基準である）を満たすという判定にしたがって、デバイスはディスプレイ上に第３のユーザーインターフェース領域を表示して、第１のユーザーインターフェース領域の少なくとも一部の表示を（例えば、仮想オブジェクトの２Ｄ画像を置き換える仮想オブジェクトの三次元モデルを含んで）置き換えることを含む（８４８）。いくつかの実施形態では、ステージングユーザーインターフェース（例えば、図６Ｉに関して記載されているステージングユーザーインターフェース６０１０）を表示すると共に、デバイスは、ステージングユーザーインターフェースに対応する仮想オブジェクトの表現の外観を、（例えば、方法９００を参照して下記でより詳細に説明するように）検出される入力に基づいて更新する。いくつかの実施形態では、仮想オブジェクトがステージングユーザーインターフェースで表示されている間に別の入力が検出され、その入力が第２のユーザーインターフェース領域を表示することに遷移するための基準を満たすときに、デバイスは連続的に仮想オブジェクトを表示すると共に、ステージングユーザーインターフェースの表示を第２のユーザーインターフェース領域に置き換える。更なる詳細を方法９００に関して記載する。第１の入力が第３の基準を満たすという判定にしたがって第３のユーザーインターフェースを表示することは、第１のユーザーインターフェースを追加的な表示された制御（例えば、第１のユーザーインターフェースから第３のユーザーインターフェースを表示するための制御）で混乱させることのない追加的な制御オプションを提供する。第２のユーザーインターフェースを追加的な表示された制御で混乱させることのない追加的な制御オプションを提供することはデバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
【０２５５】
いくつかの実施形態では、接触による第１の入力（例えば、第１のユーザーインターフェース領域をスクロールすることに対応するスワイプ入力又は要求に対応して第１のユーザーインターフェース領域のコンテンツに対応するウェブページ又は電子メールを表示するタップ入力）が第１の（例えば、ＡＲトリガ）基準を満たさないという判定にしたがって、デバイスは、第１のユーザーインターフェース領域の少なくとも一部の表示を（例えば、図６Ｂ〜６Ｃに関して記載されているように）１つ以上のカメラの視野の表現に置き換えることなく第１のユーザーインターフェース領域の表示を維持する（８５０）。第１のユーザーインターフェース領域の表示を維持するべきであるか又は連続的に仮想オブジェクトの表現を表示するべきかどうか決定するための第１の基準を使用すると共に、第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野に置き換えることで、入力に応答して複数の異なるタイプの操作を実行することが可能になる。入力に応答して（例えば、ユーザーインターフェースの少なくとも一部の表示を１つ以上のカメラの視野に置き換えるか又は第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野の表現に置き換えることなく第１のユーザーインターフェース領域の表示を維持することによって）複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
【０２５６】
図８Ａ〜８Ｅの動作について記載された特定の順序は単なる例にすぎず、記載された順序が操作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書において記載されている操作を再び順序付けする各種の方法を認識するであろう。加えて、本明細書において記載されている他の方法（例えば、方法９００及び１０００）に関して本明細書において記載されている他のプロセスの詳細はまた、図８Ａ〜８Ｅに関して上述した方法８００にも、類似の様式で適用できる点に留意されたい。例えば、方法８００を参照して上述した接触、入力、仮想オブジェクト、ユーザーインターフェース領域、強度閾値、触知出力、視野、移動及び／又はアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法９００、１０００、１６０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書に記載される接触、入力、仮想オブジェクト、ユーザーインターフェース領域、強度閾値、触知出力、視野、移動及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、これらの詳細はここで繰り返さない。
【０２５７】
図９Ａ〜９Ｄは、いくつかの実施形態による、第１のユーザーインターフェース領域の仮想オブジェクトの第１の表現、第２のユーザーインターフェース領域の仮想オブジェクトの第２の表現及び１つ以上のカメラの視野の表現を有する仮想オブジェクトの第３の表現を表示する方法９００を図示しているフローチャートである。方法９００は、ディスプレイ、タッチ感知面及び１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面から反対側のデバイスの側上の１つ以上の後面カメラ）を有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル型多機能デバイス１００）で実行される。いくつかの実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面はディスプレイ上にあるか又はディスプレイと統合される。いくつかの実施形態では、ディスプレイは、タッチ感知面から分離している。方法９００のいくつかの操作は任意選択的に組み合わされ、かつ／又は、いくつかの操作の順序は任意選択的に変更される。
【０２５８】
後述するように、方法９００は、第１のユーザーインターフェース（例えば、二次元のグラフィックユーザーインターフェース）の仮想オブジェクトの表現を表示するデバイスのタッチ感知面での接触によって入力を検出することに関する。第１の入力に応答して、デバイスは、第２のユーザーインターフェース（例えば、仮想オブジェクトの三次元表現を移動し、サイズ変更し、かつ／又は方向変更することができるステージングユーザーインターフェース）に仮想オブジェクトの第２の表現を表示するべきかどうか決定するための基準を使用する。第２のユーザーインターフェースに仮想オブジェクトの第２の表現を表示すると共に、第２の入力に応答して、デバイスは第２の入力に基づいて仮想オブジェクトの第２の表現の表示特性を変えるか又はデバイスの１つ以上のカメラの視野を含む第３のユーザーインターフェースの仮想オブジェクトの第３の表現を表示する。入力に応答して（例えば、仮想オブジェクトの表示特性を変えるか又は第３のユーザーインターフェースに仮想オブジェクトを表示することによって）複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することが出来る効率を増大させ、それによって、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
【０２５９】
デバイスは、ディスプレイ１１２上の第１のユーザーインターフェース領域（例えば、二次元のグラフィックユーザーインターフェース又は一部（例えば、家具画像の一覧可能なリスト、１つ以上の選択可能なオブジェクトを含んでいる画像など））に仮想オブジェクトの表現（例えば、仮想椅子５０２０、仮想ランプ５０８４、靴、家具、手工具、装飾、人々、絵文字、ゲームキャラクタ、仮想家具などの、三次元オブジェクトのグラフィック表現）を表示する（９０２）。例えば、第１のユーザーインターフェース領域は、図６Ａで示すメッセージ送信ユーザーインターフェース５００８である。いくつかの実施形態では、第１のユーザーインターフェース領域は、デバイスを囲んでいる物理的環境の画像以外のバックグラウンドを含む（例えば、第１のユーザーインターフェース領域のバックグラウンドは、予め選択された背景色／パターンであるか、又は、１つ以上のカメラによって並行して取り込まれる出力像と異なり、かつ１つ以上のカメラの視野の有効なコンテンツと異なる背景画像である）。
【０２６０】
ディスプレイ上の第１のユーザーインターフェース領域の仮想オブジェクトの第１の表現を表示すると共に、デバイスは、ディスプレイ上の仮想オブジェクトの第１の表現に対応するタッチ感知面上の場所で、第１の接触による第１の入力を検出する（９０４）（例えば、第１の接触はタッチスクリーンディスプレイ上の仮想オブジェクトの第１の表現上で検出されるか、又は、第１の接触は、仮想オブジェクトの第１の表現を有する第１のユーザーインターフェース領域において並行して表示され、そして、接触によって起動されると仮想オブジェクトのＡＲビュー（例えば、カメラの視野６０３６）及び／又は仮想オブジェクト（例えば、仮想椅子５０２０）の表現を含むステージングユーザーインターフェース６０１０の表示をトリガするように構成されるアフォーダンス（例えば、トグル制御６０１８）上で、検出される）。例えば、第１の入力は、図６Ｅ〜６Ｉに関して記載されている接触６００６による入力である。
【０２６１】
第１の接触によって、そして、第１の接触による第１の入力が第１の（例えば、ステージング−トリガ）基準を満たすという判定にしたがって第１の入力を検出することに応答して、（例えば、ステージング−トリガ基準は、入力されるスワイプを識別するように構成される基準、タッチホールド入力、押圧入力、タップ入力、接触のタッチダウン、接触の最初の移動又はカメラのアクティブ化及び／又はカメラの視野の視野平面の検出をトリガすることと関係している別のタイプの所定の入力ジェスチャである）、デバイスは、第１のユーザーインターフェース領域と異なる第２のユーザーインターフェース領域の仮想オブジェクトの第２の表現を表示する（９０６）（例えば、第２のユーザーインターフェース領域は、カメラの視野を含まないで、そして、ユーザー入力に応答して仮想オブジェクトの三次元表現が操作される（例えば、回転されて、移動される）ことができる、擬似的な三次元空間を含むステージングユーザーインターフェース６０１０である）。例えば、図６Ｅ〜６Ｈで、接触６００６による入力が深い押圧強度閾値ＩＴＤを上回って増加する特性強度を有するという判定にしたがって、メッセージ送信ユーザーインターフェース５００８（例えば、図６Ｅに示すように）とは異なるステージングユーザーインターフェース６０１０（例えば、図６Ｉに示すように）で、仮想椅子オブジェクト５０２０は、表示される。
【０２６２】
いくつかの実施形態では、第１の入力を検出することに応答して、そして、第１の入力がステージングトリガ基準を満たすという判定にしたがって、デバイスは、第１のユーザーインターフェース領域で示す第１の向き（例えば、図６Ｅのメッセージ送信ユーザーインターフェース５００８で示す仮想椅子５０２０の第１の向き）から、デバイスを囲んでいる物理的環境に対してデバイスの現在の向きから独立して方向付けられるディスプレイ上の仮想的なプレーンに基づいて決定される第２の向き（例えば、図６Ｉで示すステージ平面６０１４に基づいて決定される仮想椅子５０２０の第２の向き）まで、移動されて方向変更されている仮想オブジェクトの三次元表現を示す第１のアニメーション化された遷移を表示する。例えば、仮想オブジェクトの三次元の表現は（例えば、二次元のグラフィカルユーザーインターフェースで示す仮想オブジェクトの形状及び向きづけに基づいて）プレーンから所定の向き及び／又は距離を有し、そして、ステージングビュー（例えば、ステージングユーザーインターフェース６０１０）に遷移するときに、三次元の表現はディスプレイ上の仮想オブジェクトの元の位置からディスプレイ上の新しい位置（例えば、仮想ステージ６０１４の中心）まで移動され、サイズ変更され、方向変更され、そして、移動の間、又は、移動の終了後、デバイスを囲んでいる物理的環境から独立して定められる所定のステージング仮想的なプレーン６０１４に対して仮想オブジェクトが固定角であるように、三次元の表現は方向変更される。
【０２６３】
第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示すると共に、デバイスは第２の入力（例えば、図６Ｑ〜６Ｔで図示される接触６０３４による入力）を検出する（９０８）。いくつかの実施形態では、第２の入力を検出することは、仮想オブジェクトの第２の表現に対応するタッチスクリーン上の位置で１つ以上の第２の接触を検出すること、第２の接触によって起動されるとデバイスを囲んでいる物理的環境の拡張現実ビューの表示をトリガするように構成されるアフォーダンス上で第２の接触を検出すること、第２の接触の移動を検出すること、及び／又は第２の接触のリフトオフを検出することを含む。いくつかの実施形態では、第２の入力は、同じ接触による第１の入力の継続（例えば、第２の入力は、図６Ｅ〜６Ｉで図示する接触６００６の後の、図６Ｑ〜６Ｔで図示する接触６０３４による入力である（例えば、接触のリフトオフなしで））、又は完全に異なる接触による別々の入力（例えば、第２の入力は、図６Ｅ〜６Ｉで図示する接触６００６による第１の入力の後の、図６Ｑ〜６Ｔで図示する接触６０３４による入力である（接触のリフトオフによる））、又は追加の接触による入力の継続（例えば、第２の入力は、図６Ｅ〜６Ｉで図示する接触６００６による第１の入力の後の、図６Ｊ〜６Ｌで図示する接触６００６による入力である）である。例えば、第２の入力は、スワイプ入力、第２のタップ入力、第２の押圧入力、第１の入力に続いた押圧入力、第２のタッチホールド入力、第１の入力から続く維持されたタッチ、などの継続でもよい。
【０２６４】
第２の入力を検出することに応答して（９１０）、第２の入力が（例えば、拡張現実ビューに遷移せずに）第２のユーザーインターフェース領域の仮想オブジェクトを操作する要求に対応するという決定にしたがって、デバイスは第２の入力に基づいて第２のユーザーインターフェース領域の中の仮想オブジェクトの第２の表現の表示特性を変更し、そして、第２の入力が拡張現実環境に仮想オブジェクトを表示する要求に対応するという決定にしたがって、デバイスは１つ以上のカメラの視野の表現を有する仮想オブジェクトの第３の表現を表示する（例えば、デバイスは、１つ以上のカメラの視野６０３６を含む第３のユーザーインターフェースを表示し、デバイスを囲んでいる物理的環境５００２の物理的なプレーン（例えば、床）に対応するカメラの視野の中で検出される仮想的なプレーン（例えば、床面５０３８）上に、仮想オブジェクトの三次元表現（例えば、仮想椅子５０２０）を配置する）。
【０２６５】
いくつかの実施形態では、第２のユーザーインターフェース領域の仮想オブジェクトを操作する要求に対応する第２の入力は、第２のユーザーインターフェース領域の仮想オブジェクトの第２の表現に対応するタッチ感知面上の場所での第２の接触によるピンチ又はスワイプである。例えば、第２の入力は、図６Ｊ〜６Ｌに図示する接触６００６による入力又は図６Ｎ〜６Ｏに図示する接触６０２６及び６０３０による入力である。
【０２６６】
いくつかの実施形態では、仮想オブジェクトを拡張現実環境に表示する要求に対応する第２の入力は、第２のユーザーインターフェース領域の仮想オブジェクトの表現に対応するタッチ感知面上の場所での、又は、そこからの、タップ入力、押圧入力又はタッチホールド若しくは押圧入力に続くドラッグ入力である。例えば、第２の入力は、図６Ｑ〜６Ｔで図示する接触６０３４によって入力される深い押圧である。
【０２６７】
いくつかの実施形態では、第２の入力に基づいて第２のユーザーインターフェース領域の中で仮想オブジェクトの第２の表現の表示特性を変えることは、１つ以上の軸のまわりを回転すること（例えば、垂直及び／又は横スワイプを経て）、サイズ変更すること（例えば、サイズ変更するピンチ）、１つ以上の軸のまわりで傾けること（例えば、デバイスを傾けることによって）、視点を変化させること（例えば、１つ以上の視野面を検出するための１つ以上のカメラの視野の分析のためにいくつかの実施形態において使われる、水平にデバイスを動かすことによって）、及び／又は仮想オブジェクトの表現の色を変えることを含む。例えば、仮想オブジェクトの第２の表現の表示特性を変えることは、図６Ｊ〜６Ｋで図示するように、接触６００６によって水平スワイプジェスチャに応答して仮想椅子５０２０を回転させること、図６Ｋ〜６Ｌで図示するように、接触６００６によって斜めのスワイプジェスチャに応答して仮想椅子５０２０を回転させること、又は図６Ｎ〜６Ｏで図示するように、接触６０２６及び６０３０によってデピンチジェスチャに応答して仮想椅子５０２０のサイズを増加させることを含む。いくつかの実施形態において、仮想オブジェクトの第２の表現の表示特性が変えられる量は、第２の入力特性が変化する量（例えば、接触による移動の距離又は速度、接触の強度、接触の期間など）と相関している。
【０２６８】
いくつかの実施形態では、第２の入力が拡張現実環境に（例えば、図６Ｔに関して記載されている１つ以上のカメラの視野６０３６に）仮想オブジェクトを表示する要求に対応するという決定にしたがって、デバイスは、ディスプレイ上の仮想的なプレーンに対するそれぞれの向き（例えば、図６Ｒに示す仮想椅子５０２０の向き）から、１つ以上のカメラの視野において捕えられる物理的環境の部分の現在の向きに基づいて決定される第３の方向（例えば、図６Ｔに示す仮想椅子５０２０の向き）まで方向変更される、仮想オブジェクトの三次元表現を示す第２のアニメーション化された遷移を表示する。例えば、仮想オブジェクトの三次元の表現は、仮想オブジェクトの三次元表現が、カメラの視野において捕えられる物理的環境５００２（例えば、仮想オブジェクトの三次元表現を支持することができる直立壁又は水平床面などの物理表面）のライブ画像において識別される所定のプレーン（例えば、床面５０３８）に対して固定角であるように、方向変更される。いくつかの実施形態では、拡張現実ビューの仮想オブジェクトの向きは、少なくとも１つの態様においてステージングユーザーインターフェースの仮想オブジェクトの向きによって拘束される。例えば、三次元座標系の少なくとも１つの軸のまわりの仮想オブジェクトの回転角度は、仮想オブジェクトをステージングユーザーインターフェースから拡張現実ビューに遷移するときに維持される（例えば、図６Ｑ〜６Ｕに関して記載されているように、図６Ｊ〜６Ｋに関して記載されている仮想椅子５０２０の回転は維持される）。いくつかの実施形態では、第２のユーザーインターフェース領域の仮想オブジェクトの表現上への光投射源は仮想光源である。いくつかの実施形態では、第３のユーザーインターフェース領域の仮想オブジェクトの第３の表現は、（例えば、１つ以上のカメラの視野において検出され、かつ／又はそれから判定されるような）実世界光源によって照らされる。
【０２６９】
いくつかの実施形態では、第１の基準は、第１の入力が仮想オブジェクトインジケータ５０２２（例えば、ディスプレイ上の仮想オブジェクトの表現に重ねてかつ／又はそれと隣接して表示されるアイコンなどのインジケータ）に対応するタッチ感知面上の場所に第１の接触によって入力されるタップを含むときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（９１２）。例えば、仮想オブジェクトインジケータ５０２２は、それが一致する仮想オブジェクトがステージングビュー（例えば、ステージングユーザーインターフェース６０１０）及び拡張現実ビュー（例えば、カメラの視野６０３６）において見えるという表示を、（例えば、方法１０００に関して下記により詳細に説明するように）提供する。第１の入力が入力されるタップを含むかどうかに応じて、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示するかどうかを決定することにより、第１の入力に応答して複数の異なるタイプの操作を実行することができる。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。
【０２７０】
いくつかの実施形態では、第１の基準は、少なくとも所定の時間（例えば、長いプレスの時間閾値）の間に閾値移動量未満で仮想オブジェクトの第１の表現に対応する、タッチ感知面上の場所に第１の接触が維持されるときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（９１４）。例えば、第１の基準は、タッチホールド入力によって満たされる。いくつかの実施形態では、第１の基準は、基準が満たされるために、少なくとも所定の閾値時間の間に閾値移動量未満で仮想オブジェクトの表現に対応するタッチ感知面上の場所に第１の接触が維持された後に第１の接触の移動を必要とする基準を含む。例えば、第１の基準は、タッチホールド入力に続くドラッグ入力によって満たされる。仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示するべきかどうかを決定することは、接触が少なくとも所定の時間の間に閾値移動量未満で仮想オブジェクトの表現に対応するタッチ感知面上の場所に維持されるかどうかに応じて、入力に応答した複数の異なるタイプの操作の実行を可能にする。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。
【０２７１】
いくつかの実施形態では、第１の基準は、第１の接触の特性強度が第１の強度閾値（例えば、深い押圧強度閾値ＩＴＤ）を上回って増加するときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（９１６）。例えば、図６Ｑ〜６Ｔに関して記載されているように、基準は、強度レベルメータ５０２８によって示されるように、接触６０３４の特性強度が深い押圧強度閾値ＩＴＤを上回って増加するときに満たされる。いくつかの実施形態では、接触が別のタイプのジェスチャ（例えば、タップ）を認識するための基準を満たすという判定にしたがって、デバイスは第２の（例えば、ステージング）ユーザーインターフェースをトリガさせること以外の別の所定の機能を実行すると共に仮想オブジェクトの表示を維持する。いくつかの実施形態では、第１の基準は、第１の入力がタップ入力でない（例えば、接触のリフトオフの前に閾値強度を上回ったものに達する激しいタップ入力が、接触の最初のタッチダウンのタップ時間閾値の範囲内で検出される）ことを必要とする。いくつかの実施形態では、第１の基準は、基準が満たされるために、第１の接触の強度が第１の強度閾値を超えた後に第１の接触の移動を必要とする基準を含む。例えば、第１の基準は、押圧入力に続くドラッグ入力によって満たされる。接触の特性強度が第１の強度閾値を上回って増加するかどうかに応じて、第２のユーザーインターフェース領域に仮想オブジェクトを表示するかどうかを決定することにより、第１の入力に応答して複数の異なるタイプの操作を実行することができる。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。
【０２７２】
一部の実施形態では、第１の接触による第１の入力の検出に応答して、第１の接触による第１の入力が第２の基準（例えば、インターフェーススクロール基準）を満たすことの判定に応じて（ただし、第２の基準は、第１の入力が閾値距離よりも長くにわたるタッチ感知面と交差する方向の第１の接触の移動を含むことを必要とする（例えば、第２の基準は、垂直スワイプ又は水平ジェスチャなどのスワイプジェスチャによって満たされる））、デバイスは、第１のユーザーインターフェース領域（及び仮想オブジェクトの表現）を第１の接触の移動方向に対応する方向にスクロールする（９１８）（例えば、第１の基準は満たされず、仮想オブジェクトの表現を第２のユーザーインターフェース領域に表示することは見合わせられる）。例えば、図６Ｂ〜６Ｃに関して説明したように、接触６００２による上向きの垂直スワイプジェスチャは、メッセージングユーザーインターフェース５００８及び仮想椅子５０２０を上方へスクロールさせる一部の実施形態では、第１の基準が満たされるために、第１の基準も、第１の入力が閾値距離よりも長くにわたる第１の接触の移動を含むことを必要とし、デバイスは、第１の入力の初期部分がオブジェクト選択基準（例えば、仮想オブジェクトの表現に対するタッチ保持又は押圧）を満たすか否かに基づいて、第１の入力が、第１の基準（例えば、ステージングトリガ基準）、又は第２の基準（例えば、インターフェーススクロール基準）を満たすか否かを判定する。一部の実施形態では、第２の基準は、仮想オブジェクト及び仮想オブジェクトのＡＲアイコン）の位置の外側のタッチ位置で開始されるスワイプ入力によって満たされる。第１の入力が第２の基準を満たすか否かによって、第１の入力に応答して第１のユーザーインターフェース領域をスクロールするか否かを判定することで、第１の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０２７３】
一部の実施形態では、第１の接触による第１の入力の検出に応答して、第１の接触による第１の入力が第３の（例えば、ＡＲトリガ）基準を満たすことの判定に応じて、デバイスは、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現と共に表示する（９２０）。例えば、図６ＡＤ〜６ＡＧに関して説明したように、接触６０４４による長いタッチ入力とそれに続く仮想椅子５０２０をドラッグする接触６０４４による上向きのドラッグ入力によって、仮想椅子５０２０は、カメラの視野６０３６と共に表示される。
【０２７４】
一部の実施形態では、第３の基準は、例えば、１つ以上のカメラがアクティブ状態にあり、デバイスの向きが規定の範囲（例えば、既定の元の向きから、１つ以上の軸まわりの規定の回転角）内に収まり、接触による入力が選択入力（例えば、長いタッチ）とそれに続くドラッグ入力を含む（（例えば、ディスプレイの縁部から所定の距離内まで）ディスプレイ上で仮想オブジェクトを移動させる接触の移動）、接触の特性強度はＡＲトリガ強度閾値（例えば、ライト押圧閾値ＩＴＬ又はディープ押圧閾値ＩＴＤ））を超えて増大し、接触の持続時間はＡＲトリガ持続時間閾値（例えば、長い押圧閾値）を超えて増大し、及び／又はこの接触により移動する距離はＡＲトリガ距離閾値（例えば、長いスワイプ閾値）を超えて増大する、という判定に応じて満足させられる基準を含む。一部の実施形態では、第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース６０１０）に仮想オブジェクトの表現を表示する制御（例えば、トグル制御６０１８）は、仮想オブジェクトの表現及び１つ以上のカメラの視野６０３６を含むユーザーインターフェース（例えば、第２のユーザーインターフェース領域のうちの少なくとも一部に置き換わる第３のユーザーインターフェース領域）に表示される。
【０２７５】
一部の実施形態では、第１のユーザーインターフェース領域（例えば、非ＡＲ、非ステージング、タッチスクリーンＵＩビュー）から第３のユーザーインターフェース領域（例えば、拡張現実ビュー）へ直接に遷移する際に、デバイスは、ディスプレイ上のタッチスクリーンＵＩ（例えば、非ＡＲ、非ステージングビュー）に表されるそれぞれの向きから１つ以上のカメラの視野内に取り込まれた物理的環境の一部の現在の向きに対して予め定められている向きへ仮想オブジェクトの三次元表現の向きが変えられることを示すアニメーション化された遷移を表示する。例えば、図６ＡＤ〜６ＡＪに示すように、第１のユーザーインターフェース領域（例えば、図６ＡＤに示すようなメッセージングユーザーインターフェース５００８）から第３のユーザーインターフェース領域（例えば、図６ＡＪに示すようなカメラの視野６０３６を含む拡張現実ユーザーインターフェース）へ直接に遷移する際に、仮想椅子５０２０は、図６ＡＤ〜６ＡＨに示すような第１の向きから（例えば、図６ＡＪに示すような）カメラの視野６０３６内に取り込まれるような物理的環境５００２内の床面５０３８に対する所定の向きへ変化する。例えば、仮想オブジェクトの三次元表現は、仮想オブジェクトの三次元表現が物理的環境５００２のライブ画像中で識別される所定のプレーン（例えば、仮想オブジェクトの三次元表現を支持することができる垂直壁又は水平床面（例えば、床面５０３８）などの物理的表面）に対して一定の角度であるように向きが変えられる。第１の入力が第３の基準を満たすか否かによって、第１の入力に応答してカメラの視野と共に仮想オブジェクトの第３の表現を表示するか否かを判定することで、第１の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０２７６】
一部の実施形態では、第１の接触による第１の入力の検出に応答して、デバイスは、１つ以上のデバイス方向センサによって、デバイスの現在のデバイス向き（例えば、デバイスの周囲の物理的環境に対する向き）を決定し（９２２）、第３の基準（例えば、ＡＲトリガ基準）は、第３の基準が満たされるために、現在のデバイス向きが第１の向き範囲内にあることを必要とする（例えば、デバイスとグラウンドの間の角度が、（介在状態をバイパスするために）デバイスがグラウンドに対して十分に平行であることを示す閾値角度未満であるときに、第２の基準は満たされる）。一部の実施形態では、第１の基準（例えば、ステージングトリガ基準）は、第１の基準が満たされるために、現在のデバイスの向きが第２の向き範囲内にあることを必要とする（例えば、デバイスとグラウンドの間の角度が、まず介在状態に行くためにデバイスがグラウンドに対して十分に直立であることを示す閾値から９０度の値の範囲内にあるときに、第１の基準は満たされる。デバイスの向きがある向き範囲内にあるか否かによって、第１の入力に応答してカメラの視野と共に仮想オブジェクトの第３の表現を表示するか否かを判定することで、第１の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０２７７】
一部の実施形態では、仮想オブジェクトの第２の表現の少なくとも１つの表示特性（例えば、サイズ、形状、ヨー軸、ピッチ軸、ロール軸など周りのそれぞれの角度）は、仮想オブジェクトの第３の表現に適用される（９２４）。例えば、図６Ｑ〜６Ｕに関して説明したように、仮想椅子５０２０の第３の表現が（例えば、図６Ｕに示すような）カメラの視野６０３６を含む拡張現実ビューに表示されるときに、図６Ｊ〜６Ｋに関して説明したように、ステージングユーザーインターフェース６０１０に適用される仮想椅子５０２０の第２の表現の回転は維持される。一部の実施形態では、拡張現実ビューにおける仮想オブジェクトの向きは、少なくとも１つの態様におけるステージングユーザーインターフェースにおける仮想オブジェクトの向きによって制約される。例えば、仮想オブジェクトをステージングビューから拡張現実ビューに遷移するときに、所定の三次元座標系の少なくとも１つの軸（例えば、ヨー、ピッチ、又はロール軸）の周りの仮想オブジェクトの回転角度は維持される。一部の実施形態では、仮想オブジェクトの第２の表現がユーザー入力によっていくつかのやり方で操作（例えば、サイズ、形状、テクスチャ、向き等が変更）される場合、仮想オブジェクトの第２の表現の少なくとも１つの表示特性は、仮想オブジェクトの第３の表現にのみ適用される。言い換えれば、オブジェクトが、１つ以上のやり方で拡張現実ビューに示されるときに又は拡張現実ビュー内でオブジェクトの外観を制約するために使用されるときに、ステージングビューになされる変化は、維持される。（例えば、仮想オブジェクトの第２の表現及び仮想オブジェクトの第３の表現に同一の表示特性を適用するために更なるユーザー入力を必要とせずに）仮想オブジェクトの第２の表現の少なくとも１つの表示特性を仮想オブジェクトの第３の表現に適用することにより、（例えば、仮想オブジェクトの大きなバージョンが第２のユーザーインターフェースに表示されている間にユーザーが第２の仮想オブジェクトに回転を適用することを可能にし、１つ以上のカメラの視野の表現と共に表示される仮想オブジェクトの第３の表現に回転を適用することによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０２７８】
一部の実施形態では、（例えば、第１の接触の検出、又は第１の基準を満たさずにそれぞれの所定の基準を満たす第１の接触による入力の検出、あるいは第１の基準を満たす入力の検出を含む）第１の接触による第１の入力のうちの少なくとも初期部分の検出に応答して（９２６）、デバイスは、１つ以上のカメラを起動し（例えば、ディスプレイ上にカメラの視野を直ちに表示することなくカメラを起動し）、デバイスは、１つ以上のカメラの視野を分析して、１つ以上のカメラの視野内の１つ以上のプレーンを検出する。一部の実施形態では、（例えば、拡張現実環境に仮想オブジェクトを表示する要求に対応する第２の入力が検出されるまで、少なくとも１つの視野平面が検出されるまで、又は仮想オブジェクトに対して定められるアンカー平面に対応する視野平面が検出されるまで）１つ以上のカメラの視野６０３６を表示することは、１つ以上のカメラの起動後に遅延される。一部の実施形態では、１つ以上のカメラの視野６０３６は、１つ以上のカメラの起動に対応する時点で（例えば、それと同時に）表示される。一部の実施形態では、１つ以上のカメラの視野内でプレーンが検出される前（例えば、接触による第１の入力の検出に応答して判定に応じて１つ以上のカメラの視野が表示される前）に、１つ以上のカメラの視野６０３６が表示される。（例えば、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現と共に表示する前に）カメラを起動しカメラの視野を分析して、第１の入力の初期部分の検出に応答して１つ以上の視野平面の検出することで、（例えば、カメラの視野内のそれぞれのプレーンに対する仮想オブジェクトの第３の表現の位置及び／又は向きを決定するのに必要な時間を減少させることによって）デバイスの効率高め、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０２７９】
一部の実施形態では、デバイスは、１つ以上のカメラの視野内のそれぞれのプレーン（例えば、床面５０３８）の検出に応答して、１つ以上の触知出力生成器１６７を用いて、１つ以上のカメラの視野内のそれぞれのプレーンの検出を示す触知出力を出力する（９２８）。一部の実施形態では、視野平面が識別される前に、視野６０３６が示され得る。一部の実施形態では、追加のユーザーインターフェース制御及び／又はアイコンは、少なくとも１つの視野平面が検出された後に又は視野平面の全部が識別された後に、視野内で実世界画像上に重ね合わされる。カメラの視野内でプレーンを検出したことを示す触知出力を出力することで、プレーンが検出されたことを示すフィードバックをユーザーに提供する。改善された触覚的フィードバックを提供することにより、（例えば、適切な入力を提供するようにユーザーを支援し、仮想オブジェクトを配置する不要な追加の入力を減少させることによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
【０２８０】
一部の実施形態では、ディスプレイ上の仮想オブジェクトの第３の表現のサイズは、仮想オブジェクトのシミュレートされた実世界サイズと、１つ以上のカメラと１つ以上のカメラの視野６０３６内の場所との間の距離とに基づいて決定され（９３０）、それと共に仮想オブジェクト（例えば、仮想椅子５０２０）の第３の表現は、一定の空間的関係（例えば、仮想オブジェクトが付される床面５０３８などのプレーン）を有する。一部の実施形態では、仮想オブジェクトの第３の表現のサイズは、１つ以上のカメラの視野に対する仮想オブジェクトの第３の表現のサイズの縮尺が維持されるように制約される。一部の実施形態では、１つ以上の物理的寸法パラメータ（例えば、長さ、幅、深さ、及び／又は半径）は、仮想オブジェクトについて定義される。一部の実施形態では、第２のユーザーインターフェース（例えば、ステージングユーザーインターフェース）において、仮想オブジェクトは、その定義された物理的寸法パラメータによって制約されない（例えば、仮想オブジェクトのサイズは、ユーザー入力に応答して変更可能である）。一部の実施形態では、仮想オブジェクトの第３の表現は、その定義された寸法パラメータによって制約される。視野内に表される物理的環境に対する拡張現実ビュー内の仮想オブジェクトの位置を変更するためのユーザー入力が検出されたとき、又は視野のズームレベルを変更するためのユーザー入力が検出されたとき、又はデバイスの周囲の物理的環境に対して移動させるためのユーザー入力が検出されたとき、仮想オブジェクトの外観（例えば、サイズ、ビューイング視点）は、（例えば、仮想オブジェクトのアンカー平面と拡張現実環境内のものとの間の一定の空間的関係によって表現されるような）仮想オブジェクトと物理的環境との間の一定の空間的関係と、仮想オブジェクトの所定の寸法パラメータ及び物理的環境の実際の寸法に基づく一定の縮尺とによって制約されるやり方で変化する。（例えば、仮想オブジェクトの実世界サイズをシミュレートするために仮想オブジェクトの第３の表現をリサイズように更なるユーザー入力を必要とせずに）仮想オブジェクトのシミュレートされた実世界サイズと、１つ以上のカメラと１つ以上のカメラの視野内の場所との間の距離に基づいて仮想オブジェクトの第３の表現のサイズを決定することにより、デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０２８１】
一部の実施形態では、仮想オブジェクトを拡張現実環境内に表示する要求に対応する第２の入力は、（例えば、距離閾値を超えて増大する距離だけ、定められた境界を越えて、及び／又ディスプレイ若しくは第２のユーザーインターフェース領域の縁部（例えば、底縁、上縁、及び又は側縁）の閾値距離内にある位置まで）仮想オブジェクトの第２の表現を（選択して）ドラッグする入力を含む（９３２）。仮想オブジェクトを拡張現実環境内に表示する要求に対応する第２の入力の検出に応答して、仮想オブジェクトの第３の表現をカメラの視野の表現と共に表示することによって、第２のユーザーインターフェースを追加の表示された制御（例えば、第２のユーザーインターフェースから拡張現実環境を表示する制御）で乱すことなく追加の制御オプションを提供する。第２のユーザーインターフェースを追加の表示された制御で乱すことなく追加の制御オプションを提供することによって、デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
【０２８２】
一部の実施形態では、第２のユーザーインターフェース領域（例えば、図６Ｚに示すようなステージングユーザーインターフェース６０１０）に仮想オブジェクトの第２の表現を表示しつつ、デバイスは、第１のユーザーインターフェース領域を再表示するそれぞれの基準を満たす第４の入力（例えば、仮想オブジェクトの第２の表現に対応するタッチ感知面上の場所、又はタッチ感知面上の別の場所（例えば、第２のユーザーインターフェース領域の底部又は縁部）でのタップ、強い押圧、又はタッチ保持及びドラッグ入力、並びに／あるいは第１のユーザーインターフェースの領域に復帰する制御に対応するタッチ感知面上の位置での入力）を検出し（９３４）、この第４の入力の検出に応答して、デバイスは、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示するのを中止し、デバイスは、第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を再表示する。例えば、図６Ｚ〜６ＡＣに示すように、ステージングユーザーインターフェース６０１０に表示されたバック制御６０１６に対応する位置での接触６０４２による入力に応答して、デバイスは、第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース６０１０）に仮想椅子５０２０の第２の表現を表示するのを中止し、デバイスは、第１のユーザーインターフェース領域（例えば、メッセージングユーザーインターフェース５００８）に仮想椅子５０２０の第１の表現を再表示する。一部の実施形態では、仮想オブジェクトの第１の表現は、ステージングビュー及び／又は拡張現実ビューに遷移する前に示されたものと同じ外観、位置、及び／又は向きで第１のユーザーインターフェース領域に表示される。例えば、図６ＡＣにおいて、仮想椅子５０２０は、図６Ａにおけるメッセージングユーザーインターフェース５００８に表示される仮想椅子５０２０と同じ向きでメッセージングユーザーインターフェース５００８に表示される。一部の実施形態では、デバイスは、第１のユーザーインターフェース領域における仮想オブジェクトの表示に戻るように遷移する際に、仮想オブジェクトをスクリーン上に連続的に表示する。例えば、図６Ｙ〜６Ｃにおいて、仮想椅子５０２０は、ステージングユーザーインターフェース６０１０の表示からメッセージングユーザーインターフェース５００８の表示への遷移中に連続的に表示される。第２のユーザーインターフェースに仮想オブジェクトの第２の表現を表示しつつ検出された第４の入力が第１のユーザーインターフェースを再表示する基準を満たすか否かによって、第１のユーザーインターフェースに仮想オブジェクトの第１の表現を再表示するか否かを判定することで、第４の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０２８３】
一部の実施形態では、（例えば、図６Ｕに示すように）１つ以上のカメラの視野５０３６の表現と共に仮想オブジェクトの第３の表現を表示しつつ、デバイスは、第２のユーザーインターフェース領域を再表示するそれぞれの基準を満たす第５の入力（例えば、仮想オブジェクトの第３の表現に対応するタッチ感知面上の位置又はタッチ感知面上の別の位置でのタップ、強い押圧、又はタッチ及びドラッグ入力、並びに／あるいは第２のユーザーインターフェース領域の表示に復帰する制御に対応するタッチ感知面上の場所での入力）を検出し（９３６）、この第５の入力の検出に応答して、デバイスは、仮想オブジェクトの第３の表現及び１つ以上のカメラの視野の表現を表示するのを中止し、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を再表示する。例えば、図６Ｖ〜図６Ｙに示すように、カメラの視野６０３６を含む第３のユーザーインターフェースに表示されるトグル制御６０１８に対応する位置での接触６０４０による入力に応答して、デバイスは、カメラの視野６０３６を表示するのを中止し、ステージングユーザーインターフェース６０１０を再表示する。一部の実施形態では、仮想オブジェクトの第２の表現は、拡張現実ビューに示されるものと同じ向きで第２のユーザーインターフェース領域に表示される。一部の実施形態では、デバイスは、第２のユーザーインターフェース領域における仮想オブジェクトの表示に戻るように遷移する際に、仮想オブジェクトをスクリーン上に連続的に表示する。例えば、図６Ｖ〜６Ｙにおいて、仮想椅子５０２０は、カメラの視野６０３６の表示からステージングユーザーインターフェース６０１０の表示への遷移中に連続的に表示される。カメラの視野と共に仮想オブジェクトの第３の表現を表示しつつ検出された第５の入力が、第２のユーザーインターフェースを再表示する基準を満たすか否かによって、第２のユーザーインターフェースに仮想オブジェクトの第２の表現を再表示するか否かを判定することで、第５の入力に応答して複数の異なるタイプの動作の実行を可能にする。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０２８４】
一部の実施形態では、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現６０３６と共に表示しつつ、デバイスは、第１のユーザーインターフェース領域（例えば、メッセージングユーザーインターフェース５００８）を再表示するそれぞれの基準を満たす第６の入力を検出し（９３８）、この第６の入力の検出に応答して、デバイスは、（例えば、図６Ｕに示すような）仮想オブジェクト（例えば、仮想椅子５０２０）の第３の表現及び１つ以上のカメラの視野６０３６の表現を表示するのを中止し、デバイスは、（例えば、図６ＡＣに示すように）仮想オブジェクトの第１の表現を第１のユーザーインターフェースの領域に再表示する。一部の実施形態では、第６の入力は、例えば、仮想オブジェクトの第３の表現の表現に対応するタッチ感知面上の場所又はタッチ感知面上の別の位置でのタップ、強い押圧、又はタッチ及びドラッグ入力であり、並びに／あるいは第１のユーザーインターフェース領域の表示に復帰する制御に対応するタッチ感知面上の位置での入力である。一部の実施形態では、仮想オブジェクトの第１の表現は、ステージングビュー及び／又は拡張現実ビューに遷移する前に示されたものと同じ外観及び位置で第１のユーザーインターフェース領域に表示される。一部の実施形態では、デバイスは、第１のユーザーインターフェース領域における仮想オブジェクトの表示に戻るように遷移する際に、仮想オブジェクトをスクリーン上に連続的に表示する。カメラの視野と共に仮想オブジェクトの第３の表現を表示しつつ検出された第６の入力が第１のユーザーインターフェースを再表示する基準を満たすか否かによって、第１のユーザーインターフェースに仮想オブジェクトの第１の表現を再表示するか否かを判定することで、第６の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０２８５】
一部の実施形態では、第１の接触による第１の入力の検出に応答し、第１の接触による入力が第１の基準を満たすという判定に応じて、デバイスは、第１のユーザーインターフェース領域（例えば、メッセージングユーザーインターフェース５００８）の表示から第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース６０１０）の表示へ遷移するときに、第１のユーザーインターフェース領域内の仮想オブジェクトの第１の表現を第２のユーザーインターフェース領域内の仮想オブジェクトの第２の表現に変形するアニメーション（例えば、移動、１つ以上の軸を中心にした回転、及び／又はスケーリング）の表示を含んで、仮想オブジェクトを連続的に表示する（９４０）。例えば、図６Ｅ〜６Ｉにおいて、仮想椅子５０２０は、メッセージングユーザーインターフェース５００８の表示からステージングユーザーインターフェース６０１０の表示への遷移中に連続的に表示され、アニメーション化される（例えば、仮想椅子５０２０の向きが変化する）。一部の実施形態では、仮想オブジェクトは、（例えば、第１のユーザーインターフェース領域に示されるような仮想オブジェクトの第１の表現の形状及び向きに基づいて定められる）カメラの視野内のプレーンに対する定められた向き、位置、及び／又は距離を有し、第２のユーザーインターフェース領域に遷移するときに、仮想オブジェクトの第１の表現は、ディスプレイ上の新しい位置（例えば、第２のユーザーインターフェース領域内の仮想ステージングプレーンの中心）で仮想オブジェクトの第２の表現に移動し、リサイズし、及び／又は向きを変え、移動中又は移動終了時に、デバイスの周囲の物理的環境から独立して定められる所定の仮想ステージングプレーンに対して仮想オブジェクトが所定の角度であるように、仮想オブジェクトは向きを変える。第１のユーザーインターフェースにおける仮想オブジェクトの第１の表現が第２のユーザーインターフェースにおける仮想オブジェクトの第２の表現に変形するときにアニメーションを表示することにより、第１の入力が第１の基準を満たすことを示すフィードバックをユーザーに提供する。改善されたフィードバックを提供することにより、（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
【０２８６】
一部の実施形態では、第２の接触による第２の入力の検出に応答し、第２の接触による第２の入力が拡張現実環境に仮想オブジェクトを表示する要求に対応するという判定に応じて、デバイスは、第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース６０１０）の表示から１つ以上のカメラの視野６０３６を含む第３のユーザーインターフェース領域の表示へ遷移するときに、第２のユーザーインターフェース領域内の仮想オブジェクトの第２の表現を、１つ以上のカメラの視野を含む第３のユーザーインターフェース領域内の仮想オブジェクトの第３の表現に変形するアニメーション（例えば、移動、１つ以上の軸を中心にした回転、及び／又はスケーリング）の表示を含んで仮想オブジェクトを連続的に表示する（９４２）。例えば、図６Ｑ〜６Ｕにおいて、仮想椅子５０２０は、ステージングユーザーインターフェース６０１０の表示からカメラの視野６０３６の表示への遷移中に連続的に表示され、アニメーション化される（例えば、仮想椅子５０２０の位置及びサイズが変化する）。一部の実施形態では、仮想オブジェクトは、１つ以上のカメラの視野内で検出される視野平面（例えば、ユーザーインターフェースオブジェクトの三次元表現を支持することができる垂直壁又は水平床面などの物理的表面）に対して仮想オブジェクトが所定の向き、位置、及び／又は距離にあるように向きを変える。第２のユーザーインターフェースにおける仮想オブジェクトの第２の表現が第３のユーザーインターフェースにおける仮想オブジェクトの第３の表現に変形するときにアニメーションを表示することで、仮想オブジェクトを拡張現実環境に表示する要求に第２の入力が対応することを示すフィードバックをユーザーに提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０２８７】
図９Ａ〜９Ｄにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法８００、９００、１６０００、１７０００、１８０００、１９０００、及び２００００）に関して本明細書に記載される他のプロセスの詳細は、図９Ａ〜９Ｄに関して上記した方法９００にも、同様に適用可能であることに留意されたい。例えば、方法９００を参照して上記した接触、入力、仮想オブジェクト、ユーザーインターフェース領域、強度閾値、視野、触知出力、移動、及び／又はアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法８００、９００、１６０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書に記載した接触、入力、仮想オブジェクト、ユーザーインターフェース領域、強度閾値、視野、触知出力、移動、及び／又はアニメーションの特徴のうちの１つ以上を有する。簡潔にするために、これらの詳細はここでは繰り返さない。
【０２８８】
図１０Ａ〜１０Ｄは、一部の実施形態による、アイテムが仮想三次元オブジェクトに対応することを示すために視覚的な指示と共にアイテムを表示する方法１０００を示すフロー図である。方法１０００は、ディスプレイ及びタッチ感知面（例えば、ディスプレイとタッチ感知面の両方としての役割を果たすタッチスクリーンディスプレイ）を有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル多機能デバイス１００）で実行される。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるか又はこれに組み込まれている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法１０００の一部の動作は任意選択で組み合わされ、及び／又は一部の動作の順序は任意選択で変更される。
【０２８９】
以下に説明するように、方法１０００は、第１及び第２のユーザーインターフェースにアイテムを表示することに関する。各アイテムは、アイテムがそれぞれの仮想三次元オブジェクトに対応するか否かによって、アイテムが仮想三次元オブジェクトに対応することを示す視覚的な指示と共に、又は視覚的な指示なしで表示される。アイテムが仮想三次元オブジェクトであるか否かユーザーに指示を与えることで、（例えば、アイテムが仮想三次元オブジェクトであるか否かによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが第１のアイテムに対して動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０２９０】
デバイスは、第１のアイテム（例えば、アイコン、サムネイル画像、画像、絵文字、添付物、ステッカー、アプリアイコン、アバター等）を含む第１のユーザーインターフェースを表示する要求を受信する（１００２）。例えば、一部の実施形態では、要求は、第１のアイテムの表現を第１のアイテムに関連付けられた所定の環境に表示するユーザーインターフェース（例えば、図７Ｂに示すような、インターネットブラウザユーザーインターフェース５０６０）を開く（例えば、図７に関して説明したような）入力である。所定の環境は、任意選択で、アプリケーション（例えば、電子メールアプリケーション、メッセージングアプリケーション、ブラウザアプリケーション、ワード処理アプリケーション、電子リーダアプリケーション等）のユーザーインターフェース、又はシステムユーザーインターフェース（例えば、ロック画面、通知インターフェース、サジェスチョンインターフェース、コントロールパネルユーザーインターフェース、ホーム画面ユーザーインターフェース等）である。
【０２９１】
第１のユーザーインターフェースを表示する要求に応答して、デバイスは、第１のユーザーインターフェース（例えば、図７Ｂで示すように、インターネットブラウザユーザーインターフェース５０６０）を第１のアイテムの表現と共に表示する（１００４）。第１のアイテムがそれぞれの仮想三次元オブジェクトに対応するとの判定に応じて、デバイスは、第１のアイテムがそれぞれの第１の仮想三次元オブジェクトに対応することを示すために、第１のアイテムの表現を視覚的な指示と共に表示する（例えば、第１のアイテム、輪郭、及び／又はテキストの表現に対応する位置で表示されるアイコン及び／又は背景パネルなどの画像）。第１のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定に応じて、デバイスは、第１のアイテムの表現を視覚的な指示なしで表示する。例えば、インターネットブラウザユーザーインターフェース５０６０では、図７Ｂに示すように、（仮想三次元ランプオブジェクト５０８４の表現を含む）ウェブオブジェクト５０６８は、仮想ランプ８０８４が仮想三次元オブジェクトであることを示すために視覚的な指示（仮想オブジェクトインジケータ５０８０）と共に表示され、ウェブオブジェクト５０７４は、ウェブオブジェクト５０７４が仮想三次元オブジェクトに対応するアイテムを含んでいないので、視覚的なオブジェクインジケータなしで表示される。
【０２９２】
第１のアイテムの表現を表示した後に、デバイスは、第２のアイテム（例えば、アイコン、サムネイル画像、画像、絵文字、添付物、ステッカー、アプリアイコン、アバター等）を含む第２のユーザーインターフェース（例えば、図７Ｍに示すような、メッセージングユーザーインターフェース５００８）を表示するために要求（例えば、図７Ｈ〜７Ｌに関して説明したような入力）を受信する（１００６）。第２のアイテムは第１のアイテムとは異なり、第２のユーザーインターフェースは第１のユーザーインターフェースとは異なる。例えば、一部の実施形態では、要求は、第２のアイテムに関連付けられた所定の環境に第２のアイテムの表現を表示するユーザーインターフェースを開く別の入力である。所定の環境は、任意選択で、第１のアイテムを示すのに使用されるアプリケーション以外のアプリケーション（例えば、電子メールアプリケーション、メッセージングアプリケーション、ブラウザアプリケーション、ワード処理アプリケーション、電子リーダアプリケーション等）のユーザーインターフェースであり、又は第１のアイテムを示すのに使用されるシステムユーザーインターフェース以外のシステムユーザーインターフェース（例えば、ロック画面、通知インターフェース、サジェスチョンインターフェース、コントロールパネルユーザーインターフェース、ホーム画面ユーザーインターフェース等）にある。
【０２９３】
第２のユーザーインターフェースを表示する要求に応答して、デバイスは、第２のユーザーインターフェース（例えば、図７Ｍで示すように、メッセージングユーザーインターフェース５００８）を第２のアイテムの表現と共に表示する（１００８）。第２のアイテムがそれぞれの仮想三次元オブジェクトに対応するとの判定に応じて、デバイスは、第２のアイテムがそれぞれの第２の仮想三次元オブジェクトに対応することを示すために、第２のアイテムの表現を視覚的な指示（例えば、第１のアイテムが仮想三次元オブジェクトに対応することを示す同一の視覚的な指示）と共に表示する。第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定に応じて、デバイスは、第２のアイテムの表現を視覚的な指示なしで表示する。例えば、メッセージングユーザーインターフェース５００８において、図７Ｍに示すように、仮想三次元椅子オブジェクト５０２０は、仮想椅子５０２０が仮想三次元オブジェクトであることを示す視覚的な指示（仮想オブジェクトインジケータ５０２２）と共に表示され、絵文字７０２０は、仮想三次元オブジェクトに対応するアイテムを絵文字７０２０が含んでいないので、視覚的なオブジェクトインジケータなしで表示される。
【０２９４】
一部の実施形態では、第１のアイテムがそれぞれの第１の仮想三次元オブジェクトに対応することを示すために、第１のアイテム（例えば、仮想ランプ５０８４）の表現を視覚的な指示（例えば、仮想オブジェクトインジケータ５０８０）と共に表示することは、（例えば、方向センサ（例えば、デバイス１００の１つ以上の加速度計１６８）により検出されるような）第１のデバイス向きから第２のデバイス向きへの変化という結果になるデバイスの移動の検出に応答して、第１のデバイス向きから第２のデバイス向きへの変化に対応する第１のアイテムの移動（例えば、第１のユーザーインターフェースに対する第１のアイテムの傾斜及び／又は第１のアイテムの移動）を表示することを含む（１０１０）。例えば、第１のデバイス向きは、図７Ｆ１に示すようなデバイス１００の向きであり、第２のデバイス向きは、図７Ｇ１に示すようなデバイス１００の向きである。図７Ｆ１〜図７Ｇ１に示す移動に応答して、第１のアイテム（例えば、仮想ランプ５０８４）は、（例えば、図７Ｆ２〜図７Ｇ２に示すように）傾斜する。一部の実施形態では、第２のオブジェクトが仮想三次元オブジェクトに対応する場合、第２のオブジェクトは、（例えば、第２のオブジェクトも仮想三次元オブジェクトに対応することを示すために）上記のようにデバイスの移動の検出にも応答する。
【０２９５】
第１のデバイス向きから第２のデバイス向きへの変化に対応する第１のアイテムの移動を表示することによって、仮想三次元オブジェクトの挙動を示すユーザーへの視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、ユーザーが、更なる入力を行う必要がない向きから仮想三次元オブジェクトを見ることを可能にすることによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
【０２９６】
一部の実施形態では、第１のアイテムがそれぞれの第１の仮想三次元オブジェクトに対応することを示すための視覚的な指示と共に第１のアイテムの表現を表示することは、第１のアイテムの表現が第１のユーザーインターフェースに表示されている間に第１のユーザーインターフェースをスクロールする第１の接触による第１の入力（例えば、第１の方向の第１のユーザーインターフェース上のスワイプ入力、又はスクロールバー端部上のスクロールボタンに対するタッチ保持入力）の検出に応答して、デバイスは、第１のユーザーインターフェースのスクロールに応じてディスプレイ上で第１のアイテムの表現を並進し（例えば、第１のユーザーインターフェースになされるスクロール量に基づく距離だけ、及びスクロールの反対方向に、第１のアイテムのアンカー位置を移動させる（例えば、第１のユーザーインターフェースがタッチ感知面をわたって移動する接触によって上方にドラッグされるときに、第１のアイテムの表現は、第１のユーザーインターフェースと共にディスプレイ上で上方に移動する））、このデバイスは、第１のユーザーインターフェースがスクロールされる方向に応じて第１のユーザーインターフェース（又はディスプレイ）によって定められるプレーンに対して第１のアイテムの表現を回転することを含む（１０１２）。例えば、図７Ｃ〜７Ｄに示すように、仮想ランプ５０８４の表現がインターネットブラウザユーザーインターフェース５０６０に表示されている間にインターネットブラウザユーザーインターフェース５０６０をスクロールする接触７００２による入力の検出に応答して、仮想ランプ５０８４はインターネットブラウザユーザーインターフェース５０６０のスクロールにしたがって並進させられ、仮想ランプ５０８４は接触７００２の移動経路の方向にしたがってディスプレイ１１２に対して回転する。一部の実施形態では、第１のユーザーインターフェースが上方にドラッグされているとの判定に応じて、第１のアイテムの表現が第１のユーザーインターフェースと共に上方に移動し、第１のユーザーインターフェース上に示すような第１のアイテムのビューイング視点が、ユーザーが異なる視野角（例えば、低い角度）から第１のアイテムを見ているかのように変化する。一部の実施形態では、第２のユーザーインターフェースが上方にドラッグされているとの判定に応じて、第２のアイテムの表現は第２のユーザーインターフェースと共に上方に移動し、第２のユーザーインターフェース上に示すような第２のアイテムのビューイング視点が、ユーザーが異なる視野角（例えば、低い角度）から第２のアイテムを見ているかのように変化する。
【０２９７】
移動が第１のデバイス向きから第２のデバイス向きへの変化に対応する場合、アイテムの移動を表示することによって、デバイス向きの変化を示すユーザーへの視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、ユーザーが、更なる入力を行う必要がない向きから仮想三次元オブジェクトを見ることを可能にすることによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
【０２９８】
一部の実施形態では、第１のユーザーインターフェース（例えば、図７Ｂに示すようなインターネットブラウザユーザーインターフェース５０６０）に第１のアイテム（例えば、ランプオブジェクト５０８４）の表現を視覚的な指示（例えば、視覚的なオブジェクトインジケータ５０８０）と共に表示しつつ、デバイスは、第３のアイテムの表現を表示する（１０１４）ものであり、第３のアイテムが仮想三次元オブジェクトに対応していない（例えば、第３のアイテムは、拡張現実環境内でレンダリングできる任意の三次元オブジェクトに対応していない）ことを示すために、第３のアイテムの表現は、視覚的な指示なしで表示される。例えば、インターネットブラウザユーザーインターフェース５０６０において、図７Ｂで示すように、ウェブオブジェクト５０７４、５０７０、及び５０７６は、ウェブオブジェクト５０７４、５０７０、及び５０７６が仮想三次元オブジェクトに対応していないため、視覚的なオブジェクトインジケータなしで表示される。
【０２９９】
第１のユーザーインターフェースに、第１のアイテムが仮想三次元オブジェクトであることを示すための視覚的な指示と共に第１のアイテムを表示すると共に、視覚的な指示なしで表示される第３のアイテムを表示することで、（例えば、ユーザーが対話しているアイテムが仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが第１のユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０３００】
一部の実施形態では、第２のユーザーインターフェース（例えば、図７Ｍに示すようなメッセージングユーザーインターフェース５００８）に、第２のアイテム（例えば、仮想椅子５０２０）の表現を視覚的な指示（例えば、仮想オブジェクトインジケータ５０２２）と共に表示しつつ、デバイスは、第４のアイテム（例えば、絵文字７０２０）の表現を表示し（１０１６）、第４のアイテムがそれぞれの仮想三次元オブジェクトに対応していないことを示すために、第４のアイテムの表現は視覚的な指示なしで表示される。
【０３０１】
第２のユーザーインターフェースに、第２のアイテムが仮想三次元オブジェクトであることを示すための視覚的な指示と共に第２のアイテムを表示すると共に、視覚的な指示なしで表示される第４のアイテムを表示することで、（例えば、ユーザーが対話しているアイテムが仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが第２のユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０３０２】
一部の実施形態において（１０１８）、第１のユーザーインターフェース（例えば、図７Ｂに示すようなインターネットブラウザユーザーインターフェース５０６０）は、第１のアプリケーション（例えば、インターネットブラウザアプリケーション）に対応し、第２のユーザーインターフェース（例えば、図７Ｍに示すようなメッセージングユーザーインターフェース５００８）は、第１のアプリケーションとは別個の第２のアプリケーション（例えば、メッセージングアプリケーション）に対応し、視覚的な指示（例えば、仮想オブジェクトインジケータ５０８０）と共に表示される第１のアイテム（例えば、ランプオブジェクト５０８４）の表現、及び視覚的な指示（例えば、仮想オブジェクトインジケータ５０２２）と共に表示される第２のアイテム（例えば、仮想椅子５０２２）の表現は、所定の１組の視覚特性及び／又は挙動特性を共有する（例えば、同じインジケータアイコンを使用し、同じテクスチャ若しくはレンダリングのスタイル、及び／又は所定のタイプの入力によって引き起こされるときの挙動を有する）。例えば、仮想オブジェクトインジケータ５０８０及び仮想オブジェクトインジケータ５０２２のためのアイコンは、同一のシンボルを含む。
【０３０３】
第１のアイテム及び第２のアイテムの視覚的な指示が所定の１組の視覚特性及び／又は挙動特性を共有するように、第１のアプリケーションの第１のユーザーインターフェースに第１のアイテムを視覚的な指示と共に表示すると共に、第２のアプリケーションの第２のユーザーインターフェースに第２のアイテムを視覚的な指示と共に表示することによって、（例えば、ユーザーが対話しているアイテムが仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが第２のユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０３０４】
一部の実施形態では、第１のユーザーインターフェースは、インターネットブラウザアプリケーションのユーザーインターフェース（例えば、図７Ｂに示すような、インターネットブラウザユーザーインターフェース５０６０）であり（１０２０）、第１のアイテムは、ウェブページの要素である（例えば、第１のアイテムは、埋込画像、ハイパーリンク、アプレット、絵文字、埋め込まれたメディアオブジェクト等としてウェブページ内で表される）。例えば、第１のアイテムは、ウェブオブジェクト５０６８の仮想ランプオブジェクト５０８４である。
【０３０５】
ウェブページ要素が仮想三次元オブジェクトであることを示す視覚的な指示と共にウェブページ要素を表示することによって、（例えば、ユーザーが対話しているウェブページ要素が仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーがインターネットブラウザアプリケーションを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０３０６】
一部の実施形態では、第１のユーザーインターフェースは、電子メールアプリケーションユーザーインターフェース（例えば、図７Ｐに示すような電子メールユーザーインターフェース７０５２）であり（１０２２）、第１のアイテムは、電子メールに対する添付物（例えば、添付物７０６０）である。
【０３０７】
電子メール添付物が仮想三次元オブジェクトであることを示す視覚的な指示と共に電子メール添付物を表示することによって、（例えば、ユーザーが対話している電子メール添付物が仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが電子メールアプリケーションユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０３０８】
一部の実施形態では、第１のユーザーインターフェースは、メッセージングアプリケーションユーザーインターフェース（例えば、図７Ｍに示すようなメッセージングユーザーインターフェース５００８）であり（１０２４）、第１のアイテムは、メッセージ中の添付物又は要素（例えば、仮想椅子５０２０）である（例えば、第１のアイテムは、画像、ハイパーリンク、ミニプログラム、絵文字、メディアオブジェクト等である）。
【０３０９】
メッセージの添付物又は要素が仮想三次元オブジェクトであることを示す視覚的な指示と共にメッセージの添付物又は要素を表示することによって、（例えば、ユーザーが対話しているメッセージの添付物又は要素が仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーがメッセージングユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０３１０】
一部の実施形態では、第１のユーザーインターフェースは、ファイル管理アプリケーションユーザーインターフェース（例えば、図７Ｏに示すようなファイル管理ユーザーインターフェース７０３６）であり（１０２６）、第１のアイテムは、ファイルプレビューオブジェクト（例えば、ファイル情報領域７０４６中のファイルプレビューオブジェクト７０４５）である。
【０３１１】
ファイルプレビューオブジェクトが仮想三次元オブジェクトであることを示す視覚的な指示と共にファイルプレビューオブジェクトを表示することによって、（例えば、ユーザーが対話しているファイルプレビューオブジェクトが仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーがファイル管理アプリケーションユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０３１２】
一部の実施形態では、第１のユーザーインターフェースは、地図アプリケーションユーザーインターフェース（例えば、地図アプリケーションユーザーインターフェース７０２４）であり（１０２８）、第１のアイテムは、地図内の対象地点の表現（例えば、対象地点オブジェクト７０２８）である（例えば、地図上の位置に対応する特徴の三次元表現（例えば、地図上の位置に対応する地形及び／又は構造物の三次元表現が挙げられる）、又は作動時に地図の三次元表現を表示させる制御）。
【０３１３】
地図内の対象地点の表現が仮想三次元オブジェクトであることを示す視覚的な指示と共に対象地点の表現を表示することによって、（例えば、ユーザーが対話している対象地点の表現が仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが地図アプリケーションユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０３１４】
一部の実施形態では、第１のアイテムがそれぞれの仮想三次元オブジェクトに対応するという視覚的な指示は、それぞれの三次元オブジェクトの表現に向けられる入力を必要とせずに発生する第１のアイテムのアニメーション（例えば、経時的に第１のアイテムに適用される連続的な移動又は視覚的効果の変化（例えば、スパークリング、きらめき等））を含む（１０３０）。
【０３１５】
それぞれの三次元オブジェクトの表現に向けられる入力なしで発生する第１のアイテムのアニメーションを表示することにより、（例えば、ユーザーが第１のアイテムの三次元態様を見るために必要な入力数を減少させることによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０３１６】
一部の実施形態では、デバイスは、第２のアイテムがそれぞれの仮想三次元オブジェクトに対応することを示すための視覚的な指示（例えば、仮想オブジェクトインジケータ５０２２）と共に第２のアイテム（例えば、仮想椅子５０２０）の表現を表示しつつ、第２のアイテムの表現に対応するタッチ感知面上の場所での第２の接触による第２の入力（例えば、図５Ｃ〜５Ｆに関して説明したような入力）を検出し（１０３２）、第２の接触による第２の入力の検出に応答して、及び第２の接触による第２の入力が第１の（例えば、ＡＲトリガ）基準を満たすとの判定に応じて、デバイスは、第２のユーザーインターフェース（例えば、メッセージングユーザーインターフェース５００８）のうちの少なくとも一部の表示を（例えば、図５Ｆ〜５Ｉに関して説明した）１つ以上のカメラの視野５０３６の表現で置き換えることを含めて、ディスプレイ上に第３のユーザーインターフェース領域を表示し、第２のユーザーインターフェースの表示から第３のユーザーインターフェース領域の表示に切り替えつつ第２の仮想三次元オブジェクトを連続的に表示する。（例えば、方法８００を参照して本明細書により詳細に説明されるように）。一部の実施形態では、デバイスは、（例えば、動作８３４を参照して本明細書により詳細に説明するように）第２のユーザーインターフェースの一部を１つ以上のカメラの視野の表現と共に表示することから切り替えつつ、仮想オブジェクトの表現が連続的に表示されるようにアニメーションを表示する。
【０３１７】
第３のユーザーインターフェース領域を表示するか否かを判定する第１の基準を用いることで、第２の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０３１８】
一部の実施形態では、（例えば、方法９００を参照して本明細書により詳細に記載するように）第２のアイテムがそれぞれの仮想三次元オブジェクトに対応することを示すために第２のアイテム（例えば、仮想椅子５０２０）を視覚的な指示（例えば、仮想オブジェクトインジケータ５０２２）と共に表示しつつ、デバイスは、第２のアイテムの表現に対応するタッチ感知面上の場所で第３の接触による第３の入力（例えば、図６Ｅ〜６Ｉに関して説明したような入力）を検出し（１０３４）、第３の接触による第３の入力の検出に応答し、第３の接触による第３の入力が第１の（例えば、ステージングトリガ）基準を満たすとの判定に応じて、デバイスは、第２のユーザーインターフェースとは異なる第４のユーザーインターフェース（例えば、方法９００を参照してより詳細に説明したようなステージングユーザーインターフェース６０１０）に第２の仮想三次元オブジェクトを表示する。一部の実施形態では、第２の仮想三次元オブジェクトを第４のユーザーインターフェース（例えば、図６Ｉに示すように、ステージングユーザーインターフェース６０１０）に表示しつつ、デバイスは、第４の入力を検出し、この第４の入力の検出に応答して、第４の入力が第４のユーザーインターフェースにおける第２の仮想三次元オブジェクトを操作する要求に対応しているとの判定に応じて、デバイスは、（例えば、図６Ｊ〜６Ｍに関して説明したような及び／又は図６Ｎ〜６Ｐに関して説明したような）第４の入力に基づいて、第４のユーザーインターフェースにおける第２の仮想三次元オブジェクトの表示特性を変化させ、第４の入力が拡張現実環境内に第２の仮想オブジェクトを表示させる要求（例えば、第２のユーザーインターフェース領域内の仮想オブジェクトの表現に対応するタッチ感知面上の場所における又はその場所からのタップ入力、押圧入力、又はタッチ保持若しくは押圧入力とそれに続くドラッグ入力）に対応するとの判定に応じて、このデバイスは、（例えば、図６Ｑ〜６Ｕに関して説明したように）１つ以上のカメラの視野の表現と共に第２の仮想三次元オブジェクトを表示する。
【０３１９】
第２の三次元オブジェクトを第４のユーザーインターフェース（例えば、ステージングユーザーインターフェース６０１０）に表示しつつ、第４の入力に応答して、デバイスは、第４の入力に基づいて第２の三次元オブジェクトの表示特性を変化させる、又はデバイスの１つ以上のカメラの視野の表現と共に第２の三次元オブジェクトを表示する。（例えば、第２の三次元オブジェクトの表示特性を変化させることによって、又はデバイスの１つ以上のカメラの視野の表現と共に第２の三次元オブジェクトを表示することによって）入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
【０３２０】
図１０Ａ〜１０Ｄにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法８００、９００、１６０００、１７０００、１８０００、１９０００、及び２００００）に関して本明細書に記載される他のプロセスの詳細は、図１０Ａ〜１０Ｄに関して上記した方法１０００にも、同様に適用可能であることに留意されたい。例えば、方法１０００を参照して上記した接触、入力、仮想オブジェクト、ユーザーインターフェース、ユーザーインターフェース領域、視野、移動、及び／又はアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法８００、９００、１６０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書に記載した接触、入力、仮想オブジェクト、ユーザーインターフェース、ユーザーインターフェース領域、視野、移動、及び／又はアニメーションの特徴のうちの１つ以上を有する。簡潔にするために、これらの詳細はここでは繰り返さない。
【０３２１】
図１１Ａ〜１１Ｖは、オブジェクト配置基準が満たされるか否かに応じて異なる視覚特性を有する仮想オブジェクトを表示するユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ〜８Ｅ、図９Ａ〜９Ｄ、図１０Ａ〜１０Ｄ、図１６Ａ〜１６Ｇ、図１７Ａ〜１７Ｄ、図１８Ａ〜１８Ｉ、図１９Ａ〜１９Ｈ、及び図２０Ａ〜２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
【０３２２】
図１１Ａ〜１１Ｅは、ステージングビューに仮想オブジェクトを表示する入力を示す。例えば、三次元オブジェクトの二次元二次元（例えば、サムネイル）表現がユーザーインターフェース（例えば、電子メールユーザーインターフェース７０５２、ファイル管理ユーザーインターフェース７０３６、地図ユーザーインターフェース７０２２、メッセージングユーザーインターフェース５００８、インターネットブラウザユーザーインターフェース５０６０、又はサードパーティアプリケーションユーザーインターフェース）に表示されている間に、入力が検出される。
【０３２３】
図１１Ａにおいて、インターネットブラウザユーザーインターフェース５０６０は、三次元仮想オブジェクト１１００２（椅子）の二次元表現を含む。接触１１００４による入力（例えば、タップ入力）は、仮想オブジェクト１１００２に対応する位置で検出される。タップ入力に応答して、インターネットブラウザユーザーインターフェース５０６０の表示は、ステージングユーザーインターフェース６０１０の表示によって置き換えられる。
【０３２４】
図１１Ｂ〜１１Ｅは、インターネットブラウザユーザーインターフェース５０６０がステージングユーザーインターフェース６０１０の表示によって置き換えられるときに生じる遷移を示す。一部の実施形態では、仮想オブジェクト１０００２は、遷移中に、徐々にビューにフェードインし、及び／又はステージングユーザーインターフェース６０１０の制御（例えば、バック制御６０１６、トグル制御６０１８、及び／又は共有制御６０２０）は、徐々にビューにフェードインする。例えば、（例えば、仮想オブジェクト１１００２の三次元表現がディスプレイ上にレンダリングされるのに必要な期間中、制御の表示を遅延させるために）仮想オブジェクト１１００２がビューにフェードインした後に、ステージングユーザーインターフェース６０１０の制御がビューにフェードインする。一部の実施形態では、仮想オブジェクト１１００２の「フェードイン」は、仮想オブジェクト１１００２の低解像度、二次元、及び／又はホログラフィックバージョンを表示することとそれに続く仮想オブジェクト１１００２の最終的な三次元表現を表示することを含む。図１１Ｂ〜１１Ｄは、仮想オブジェクト１１００２の徐々のフェードインを示す。図１１Ｄには、仮想オブジェクト１１００２の影１１００６が表示されている。図１１Ｄ〜１１Ｅは、制御６０１６、６０１８、及び６０２０の徐々のフェードインを示す。
【０３２５】
図１１Ｆ〜１１Ｇは、仮想オブジェクト１１００２の三次元表現をデバイス１００の１つ以上のカメラの視野６０３６を含むユーザーインターフェースに表示させる入力を示す。図１１Ｆにおいて、接触１１００８による入力は、トグル制御６０１８に対応する位置で検出される。この入力に応答して、図１１Ｇに示すように、ステージングユーザーインターフェース６０１０の表示が、カメラの視野６０３６を含むユーザーインターフェースの表示に置き換えられる。
【０３２６】
図１１Ｇ〜１１Ｈに示すように、カメラの視野６０３６が最初に表示されるときに（例えば、仮想オブジェクトに対応するプレーンが、カメラの視野６０３６内で検出されていないときに）、仮想オブジェクトの半透明表現が表示されてもよい。
【０３２７】
図１１Ｇ〜１１Ｈは、カメラの視野６０３６を含むユーザーインターフェースに表示される仮想オブジェクト１１００２の半透明表現を示す。仮想オブジェクト１１００２の半透明表現は、ディスプレイ１１２に対して一定の位置に表示される。例えば、図１１Ｇから図１１Ｈまで、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）デバイス１００が物理的環境５００２に対して移動させられるとき、仮想オブジェクト１１００２は、ディスプレイ１１２に対して一定の位置のままである。
【０３２８】
一部の実施形態では、仮想オブジェクトに対応するプレーンがカメラの視野６０３６内で検出されたとの判定に応じて、検出されたプレーン上に仮想オブジェクトが配置される。
【０３２９】
図１１Ｉにおいて、仮想オブジェクト１１００２に対応するプレーンが、カメラの視野６０３６内で検出されており、検出されたプレーン上に仮想オブジェクト１１００２が配置される。（例えば、少なくとも１つのプレーン（例えば、床面５０３８）がカメラの視野６０３６内で検出されたことを示すために）デバイスは、１１０１０で示すように、触知出力を生成している。仮想オブジェクト１１００２がカメラの視野６０３６内で検出されるプレーンに対してある位置に配置されるとき、仮想オブジェクト１１００２は、１つ以上のカメラによって取り込まれた物理的環境５００２に対して一定の位置のままである。図１１Ｉから図１１Ｊまで、（例えば、カメラの視野６０３６内に表示されたテーブル５００４の変化した位置によって示されるように）デバイス１００が、物理的環境５００２に対して移動させられるとき、仮想オブジェクト１１００２は、物理的環境５００２に対して一定の位置のままである。
【０３３０】
一部の実施形態では、カメラの視野６０３６が表示される間、（例えば、入力が受信されない期間が経過との判定に応じて）制御（例えば、バック制御６０１６、トグル制御６０１８、及び／又は共有制御６０２０）は、表示されるのを中止する。図１１Ｊ〜１１Ｌにおいて、制御６０１６、６０１８、及び６０２０は、（例えば、図１１Ｋに示すように）徐々にフェードアウトし、（例えば、図１１Ｌに示すように）カメラの視野６０３６が表示されるディスプレイ１１２の部分を増大させる。
【０３３１】
図１１Ｍ〜１１Ｓは、仮想オブジェクトがカメラの視野６０３６を含むユーザーインターフェース内で表示されるときに、仮想オブジェクト１１００２を操作する入力を示す。
【０３３２】
図１１Ｍ〜１１Ｎにおいて、仮想オブジェクト１１００２のシミュレートされた物理的サイズを変更する接触１１０１２及び１１０１４による入力（例えば、デピンチジェスチャ）が検出される。入力の検出に応答して、制御６０１６、６０１８、及び６０２０が再表示される。接触１１０１２は矢印１１０１６で示す経路に沿って移動し、接触１１０１４は矢印１１０１８で示す経路に沿って移動し、仮想オブジェクト１１００２のサイズは増大する。
【０３３３】
図１１Ｎ〜１１Ｐにおいて、仮想オブジェクト１１００２のシミュレートされた物理的サイズを変更する接触１１０１２〜１１０４による入力（例えば、ピンチジェスチャ）が検出される。（図１１Ｎ〜１１Ｏ及び１１Ｏ〜１１Ｐに示すように）接触１１０１２は矢印１１０２０で示す経路に沿って移動し、接触１１０１４は矢印１１０２２示す経路に沿って移動し、仮想オブジェクト１１００２のサイズが減少する。図１１Ｏに示すように、仮想オブジェクト１１００２のサイズが、物理的環境５００２に対してその元のサイズ（例えば、図１１Ｉに示すように、物理的環境５００２内の検出されたプレーン上に最初に配置されたときの仮想オブジェクト１１００２のサイズ）に調整されるとき、（例えば、仮想オブジェクト１１００２がその元のサイズに戻ったことを示すフィードバックを提供するために）（１１０２４で示すような）触知出力が発生する。図１１Ｑにおいて、接触１１０１２及び１１０１４は、タッチスクリーンディスプレイ１１２からリフトオフされている。
【０３３４】
図１１Ｒにおいて、仮想オブジェクト１１００２を物理的環境５００２に対して元のサイズに戻すための入力（例えば、二重タップ入力）が検出される。入力は、接触１１０２６によって示すように、仮想オブジェクト１１００２に対応する位置で検出される。この入力に応答して、仮想オブジェクト１１００２は、図１１Ｒに示す縮小サイズから、図１１Ｓに示すような仮想オブジェクト１１００２の元のサイズに調整される。図１１Ｓに示すように、仮想オブジェクト１１００２のサイズが、物理的環境５００２に対してその元のサイズに調整されるとき、（例えば、仮想オブジェクト１１００２がその元のサイズに戻ったことを示すフィードバックを提供するために）（１１０２８で示すような）触知出力が発生する。
【０３３５】
図１１Ｔにおいて、接触１１０３０による入力は、トグル制御６０１８に対応する位置で検出される。この入力に応答して、図１１Ｕに示すように、カメラの視野６０３６を含むユーザーインターフェースの表示は、ステージングユーザーインターフェース６０１０によって置き換えられる。
【０３３６】
図１１Ｕにおいて、接触１１０３２による入力が、バック制御６０１６に対応する位置で検出される。この入力に応答して、図１１Ｖに示すように、ステージングユーザーインターフェース６０１０の表示は、インターネットブラウザユーザーインターフェース５０６０によって置き換えられる。
【０３３７】
図１２Ａ〜１２Ｌは、デバイスの１つ以上のカメラの移動に応じて動的にアニメーション化される較正ユーザーインターフェースオブジェクトを表示するユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ〜８Ｅ、図９Ａ〜９Ｄ、図１０Ａ〜１０Ｄ、図１６Ａ〜１６Ｇ、図１７Ａ〜１７Ｄ、図１８Ａ〜１８Ｉ、図１９Ａ〜１９Ｈ、及び図２０Ａ〜２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
【０３３８】
一部の実施形態によれば、１つ以上のカメラの視野を含むユーザーインターフェースに仮想オブジェクトを表示するように要求を受信しているが、デバイスの較正のために追加データが必要とされる場合、較正ユーザーインターフェースオブジェクトが表示される。
【０３３９】
図１２Ａは、１つ以上のカメラの視野６０３６を含むユーザーインターフェースに仮想オブジェクト１１００２を表示することを要求する入力を示す。接触１２００２による入力は、トグル制御６０１８に対応する位置で検出される。図１２Ｂに示すように、この入力に応答して、ステージングユーザーインターフェース６０１０の表示は、カメラの視野６０３６を含むユーザーインターフェースの表示によって置き換えられる。仮想オブジェクト１１００２の半透明表現は、カメラの視野６０３６を含むユーザーインターフェースに表示される。（例えば、仮想オブジェクト１１００２に対応するプレーンがカメラの視野６０３６内で検出されていないので）較正が必要とされるが、（例えば、以下に説明するように、プロンプト及び／又は較正オブジェクトの挙動を強調するために）カメラの視野６０３６はぼかされる。
【０３４０】
図１２Ｂ〜１２Ｄは、（例えば、較正が必要とされるとの判定に応じて表示される）ユーザーにデバイスの移動を促す動画像及びテキストを示す。動画像は、デバイス１００の表現１２００４と、デバイス１００の左右の移動が必要とされることを示す矢印１２００６及び１２００８と、（例えば、仮想オブジェクト１１００２に対応するプレーンを検出するためにプレーンに対してデバイス１００が移動しなければならないことを示すための）プレーンの表現１２０１０とを含む。テキストプロンプト１２０１２は、較正が必要なデバイス１００の移動に関する情報を提供する。図１２Ｂ〜１２Ｃ、１２Ｃ〜１２Ｄにおいて、デバイス１００の表現１２００４及び矢印１２００６は、較正が必要なデバイス１００の移動の指示を与えるために、プレーンの表現１２０１０に対して調整される。図１２Ｃから図１２Ｄまで、デバイス１００は、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）物理的環境５００２に対して移動させられる。デバイス１００の移動を検出した結果として、図１２Ｅ−１に示すように、較正ユーザーインターフェースオブジェクト１２０１４（立方体の輪郭）が表示される。
【０３４１】
図１２Ｅ−１から１２Ｉ−１は、それぞれ図１２Ｅ−２から１２Ｉ−２に示すように、物理的環境５００２に対するデバイス１００の移動に対応する較正ユーザーインターフェースオブジェクト１２０１４の挙動を示す。較正ユーザーインターフェースオブジェクト１２０１４は、（例えば、較正に役立つ移動に関してユーザーにフィードバックを提供するために）デバイス１００の移動（例えば、横移動）に応じてアニメーション化される（例えば、立方体の輪郭が回転する）。図１２Ｅ−１において、較正ユーザーインターフェースオブジェクト１２０１４は、デバイス１００のカメラの視野６０３６を含むユーザーインターフェース内の第１の回転角度で示される。図１２Ｅ−２には、物理的環境５００２に対して第１の位置でユーザーの手５００６で保持されたデバイス１００が示されている。図１２Ｅ−２から図１２Ｆ−２まで、デバイス１００は物理的環境５００２に対して（右へ）横に移動している。移動の結果として、図１２Ｆ−１に示すように、デバイス１００によって表示されるようなカメラの視野６０３６は更新され、較正ユーザーインターフェースオブジェクト１２０１４は（図１２Ｅ−１におけるその位置に対して）回転している。図１２Ｆ−２から図１２Ｇ−２まで、デバイス１００は、物理的環境５００２に対してその右方に移動を継続している。移動の結果として、図１２Ｇ−１に示すように、デバイス１００によって表示されるようなカメラの視野６０３６は再び更新され、較正ユーザーインターフェースオブジェクト１２０１４は更に回転させられる。図１２Ｇ−２から図１２Ｈ−２まで、デバイス１００は、物理的環境５００２に対して上方に移動している。移動の結果として、デバイス１００によって表示されるようなカメラの視野６０３６は更新される。図１２Ｇ−１から図１２Ｈ−１に示すように、較正ユーザーインターフェースオブジェクト１２０１４は、（例えば、デバイスの垂直移動が較正に寄与しないという指示をユーザーに与えるために）図１２Ｇ−２から図１２Ｈ−２に示すデバイスの上方移動に応じて回転しない。図１２Ｈ−２から図１２Ｉ−２まで、デバイス１００は、物理的環境５００２に対して更に右方に移動している。移動の結果として、図１２Ｉ−１に示すように、デバイス１００によって表示されるようなカメラの視野６０３６は再び更新され、較正ユーザーインターフェースオブジェクト１２０１４は回転させられる。
【０３４２】
図１２Ｊにおいて、（例えば、図１２Ｅ〜１２Ｉに示すような）デバイス１００の移動は、必要な較正を満足している（例えば、仮想オブジェクト１１００２に対応するプレーンは、カメラの視野６０３６内で検出されている）。仮想オブジェクト１１００２は検出されたプレーン上に配置され、カメラの視野６０３６はぼかされるのを中止する。触知出力生成器は、プレーン（例えば、床面５０３８）がカメラの視野６０３６内で検出されたことを示す（１２０１６で示すような）触知出力を出力する。床面５０３８は、検出されたプレーンの指示を与えるように強調される。
【０３４３】
仮想オブジェクト１１００２がカメラの視野６０３６内で検出されるプレーンに対してある位置に配置されているとき、仮想オブジェクト１１００２は、１つ以上のカメラによって取り込まれた物理的環境５００２に対して一定の位置のままである。（図１２Ｋ−２〜図１２Ｌ−２に示すように）デバイス１００は、物理的環境５００２に対して移動させられるとき、（図１２Ｋ−１〜図１２Ｌ−１に示すように）仮想オブジェクト１１００２は、物理的環境５００２に対して一定の位置のままである。
【０３４４】
図１３Ａ〜１３Ｍは、軸を中心にした仮想オブジェクトの回転を制約するユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ〜８Ｅ、図９Ａ〜９Ｄ、図１０Ａ〜１０Ｄ、図１６Ａ〜１６Ｇ、図１７Ａ〜１７Ｄ、図１８Ａ〜１８Ｉ、図１９Ａ〜１９Ｈ、及び図２０Ａ〜２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
【０３４５】
図１３Ａにおいて、仮想オブジェクト１１００２は、ステージングユーザーインターフェース６０１０に示されている。ｘ軸、ｙ軸、及びｚ軸は、仮想オブジェクト１１００２に対して示されている。
【０３４６】
図１３Ｂ〜１３Ｃは、図１３Ａに示されるｙ軸周りに仮想オブジェクト１１００２を回転させるための入力を示す。図１３Ｂにおいて、接触１３００２による入力は、仮想オブジェクト１１００２に対応する位置で検出される。入力は、矢印１３００４で示す経路に沿って距離ｄ１だけ移動する。入力が経路に沿って移動するとき、仮想オブジェクト１１００２は、図１３Ｂに示される位置までｙ軸周りに（例えば、３５度だけ）回転する。ステージングユーザーインターフェース６０１０において、仮想オブジェクト１１００２に対応する影１３００６が表示される。図１３Ｂから図１３Ｃへ、影１３００６は、仮想オブジェクト１１００２の位置変化に応じて変化する。
【０３４７】
接触１３００２がタッチスクリーン１１２からリフトオフされた後、仮想オブジェクト１１００２は、（例えば、仮想オブジェクト１１００２が物理的オブジェクトのように振る舞う印象を与えるために、接触１３００２の移動により付与される「運動量」に応じて）図１３Ｃ〜１３Ｄに示すように、回転し続ける。
【０３４８】
図１３Ｅ〜１３Ｆは、図１３Ａに示すｘ軸周りに仮想オブジェクト１１００２を回転させる入力を示す。図１３Ｅにおいて、接触１３００８による入力は、仮想オブジェクト１１００２に対応する位置で検出される。入力は、矢印１３０１０で示す経路に沿って距離ｄ１だけ移動する。入力が経路に沿って移動するとき、仮想オブジェクト１１００２は、図１３Ｆに示される位置までｘ軸周りに（例えば、５度だけ）回転する。接触１３００８は、接触１３００２が１３Ｂ〜１３Ｃから移動したのと同じ距離ｄ１だけ図１３Ｅ〜１３Ｆのｘ軸に沿って移動するが、図１３Ｅ〜１３Ｆにおけるｘ軸周りの仮想オブジェクト１１００２の回転角は、図１３Ｂ〜１３Ｃにおけるｙ軸周りの仮想オブジェクト１１００２ の回転角よりも小さい。
【０３４９】
図１３Ｆ〜１３Ｇは、図１３Ａに示すｘ軸周りに仮想オブジェクト１１００２を回転させる更なる入力を示す。図１３Ｆにおいて、接触１３００８はその移動を続け、矢印１３０１２で示す経路に沿って（距離ｄ１よりも大きい）距離ｄ２だけ移動する。入力が経路に沿って移動するとき、仮想オブジェクト１１００２は、図１３Ｇに示す位置までｘ軸周りに（２５度だけ）回転する。図１３Ｅ〜１３Ｇに示すように、距離ｄ１＋ｄ２だけの接触１３００８の移動により、仮想オブジェクト１１００２はｘ軸周りに３０度回転する一方、図１３Ｂ〜１３Ｃにおいて、距離ｄ１だけの接触１３００４の移動により、仮想オブジェクト１１００２はｙ軸回りに３５度回転する。
【０３５０】
（例えば、接触１３００８の移動により、回転限界を越えて達する仮想オブジェクト１１００２の回転量を引き起こしたことを示すために）接触１３００８がタッチスクリーン１１２からリフトオフされた後、仮想オブジェクト１１００２は、図１３Ｇ〜１３Ｈに示すように、接触１３００８の移動によって引き起こされる回転の方向とは反対の方向に回転する。
【０３５１】
図１３Ｇ〜１３Ｉにおいて、影１３００６は、（例えば、オブジェクトを下から見たときには、仮想オブジェクト１１００２は影を投じないため）示されていない。
【０３５２】
図１３Ｉにおいて、（例えば、図１３Ａに示すように）仮想オブジェクト１１００２をそれが本来表示されていた視点に復帰させる入力（例えば、二重タップ入力）が検出される。入力は、接触１３０１４によって示すように、仮想オブジェクト１１００２に対応する位置で行われる。この入力に応答して、仮想オブジェクト１１００２は、（図１３Ｅ〜１３Ｈから生じた回転を逆にするために）ｙ軸周りに回転させられると共に、（図１３Ｂ〜１３Ｄから生じた回転を逆にするために）ｘ軸周りに回転させられる。図１３Ｊにおいて、接触１３０１６による入力により、仮想オブジェクト１１００２は元々表示されていた視点に復帰する。
【０３５３】
一部の実施形態では、ステージングユーザーインターフェース６０１０が表示されている間に、仮想オブジェクト１１００２のサイズを調整するための入力が受信される。例えば、仮想オブジェクト１１００２のサイズを調整するための入力は、仮想オブジェクト１１００２のサイズを増大させる（例えば、図６Ｎ〜６Ｏに関して説明したような）デピンチジェスチャ、又は仮想オブジェクト１１００２のサイズを減少させるピンチジェスチャである。
【０３５４】
図１３Ｊにおいて、ステージングユーザーインターフェース６０１０の表示をカメラの視野６０３６を含むユーザーインターフェースの表示に置き換えるための入力が受信される。接触１３０１６による入力は、トグル制御６０１８に対応する位置で検出される。この入力に応答して、ステージングユーザーインターフェース６０１０の表示は、図１３Ｋに示すように、カメラの視野６０３６を含むユーザーインターフェースに置き換えられる。
【０３５５】
図１３Ｋにおいて、仮想オブジェクト１１００２は、カメラの視野６０３６を含むユーザーインターフェースに表示される。仮想オブジェクト１１００２に対応するプレーンがカメラの視野６０３６内で検出されたことを示すために（１３０１８で示すように）触知出力が発生する。カメラの視野６０３６を含むユーザーインターフェースにおける仮想オブジェクト１１００２の回転角は、ステージングユーザーインターフェース６０１０における仮想オブジェクト１１００２の回転角に対応する。
【０３５６】
カメラの視野６０３６を含むユーザーインターフェースが表示されるとき、図１３Ｌ〜１３Ｍで示すように、横移動を含む入力は、カメラの視野６０３６を含むユーザーインターフェース内の仮想オブジェクト１１００２の横移動を引き起こす。図１３Ｌにおいて、接触１３０２０は仮想オブジェクト１１００２に対応する位置で検出され、接触は矢印１３０２２で示す経路に沿って移動する。接触が移動すると、仮想オブジェクト１１００２は、（図１３Ｌに示すような）第１の位置から（図１３Ｍに示すような）第２の位置へ接触１３０２０の移動に対応する経路に沿って移動する。
【０３５７】
一部の実施形態では、図５ＡＪ〜５ＡＭに関して説明したように、カメラの視野６０３６を含むユーザーインターフェースが表示されるときに提供される入力は、仮想オブジェクト１１００２を第１のプレーン（例えば、床面５０３８）から第２のプレーン（例えば、テーブル基準面５０４６）への移動させることができる。
【０３５８】
図１４Ａ〜１４Ｚは、移動の第１の閾値大きさが第１のオブジェクト操作挙動について満たされるとの判定に応じて、第２のオブジェクト操作挙動に必要な移動の第２の閾値大きさを増大させるユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ〜８Ｅ、図９Ａ〜９Ｄ、図１０Ａ〜１０Ｄ、図１４ＡＡ〜１４ＡＤ、図１６Ａ〜１６Ｇ、図１７Ａ〜１７Ｄ、図１８Ａ〜１８Ｉ、図１９Ａ〜１９Ｈ、及び図２０Ａ〜２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
【０３５９】
図１４Ａにおいて、仮想オブジェクト１１００２は、カメラの視野６０３６を含むユーザーインターフェースに表示される。図１４Ｂ〜１４Ｚに関して更に説明するように、並進移動量計１４００２、スケーリング移動量計１４００４、回転移動量計１４００６を用いて、オブジェクトの操作挙動（例えば、並進動作、スケーリング動作、及び／又は回転動作）に対応するそれぞれの移動の大きさを示す。並進移動量計１４００２は、タッチスクリーンディスプレイ１１２上に１組の接触の横（例えば、左向き又は右向きの）移動の大きさを示す。スケーリング移動量計１４００４は、タッチスクリーンディスプレイ１１２上に１組の接触におけるそれぞれの接触間の距離の増加又は減少の大きさ（例えば、ピンチジェスチャ又はデピンチジェスチャの大きさ）を示す。回転移動量計１４００６は、タッチスクリーンディスプレイ１１２上に１組の接触の回転移動の大きさを示す。
【０３６０】
図１４Ｂ〜１４Ｅは、１つ以上のカメラの視野６０３６を含むユーザーインターフェースにおいて仮想オブジェクト１１００２を回転させる入力を示す。仮想オブジェクト１１００２を回転させる入力は、第１の接触１４００８が矢印１４０１０で示す経路に沿って時計方向に回転移動し、第２の接触１４０１２が矢印１４０１４で示す経路に沿って時計方向に回転移動するジェスチャを含む。図１４Ｂでは、タッチスクリーン１１２との接触１４００８及び１４０１２が検出される。図１４Ｃにおいて、接触１４００８は、矢印１４０１０で示す経路に沿って移動しており、接触１４０１２は、矢印１４０１２で示す経路に沿って移動している。図１４Ｃでは、接触１４００８及び接触１４０１２の回転移動の大きさが、まだ閾値ＲＴに達していないので、仮想オブジェクト１１００２は、まだ入力に応答して回転していない。図１４Ｄにおいて、接触１４００８及び接触１４０１２の回転移動の大きさは閾値ＲＴを超えて増大しており、仮想オブジェクト１１００２は入力に応答して（図１４Ｂに示す仮想オブジェクト１１００２の位置に対して）回転している。回転移動の大きさが閾値ＲＴを超えて増大するとき、仮想オブジェクト１１００２をスケーリングするのに必要な移動の大きさは増大し（例えば、スケーリング閾値ＳＴは、スケーリング移動量計１４００４で示すように、ＳＴからＳＴ'に増大しており）、仮想オブジェクト１１００２を並進するのに必要な移動の大きさは増大する（例えば、並進移動量計１４００２で示すように、並進閾値ＴＴは、ＴＴからＴＴ'に増大している）。図１４Ｅにおいて、接触１４００８及び接触１４０１２は、それぞれ矢印１４０１０及び１４０１４で示す回転経路に沿って移動し続けており、仮想オブジェクト１１００２は入力に応答して回転し続けている。図１４Ｆにおいて、接触１４００８及び１４０１２は、タッチスクリーン１１２からリフトオフされている。
【０３６１】
図１４Ｇ〜１４Ｉは、１つ以上のカメラの視野６０３６を含むユーザーインターフェース内の仮想オブジェクト１１００２をスケーリングする（例えば、そのサイズを増大する）入力を示す。仮想オブジェクト１１００２のサイズを増大させる入力は、（例えば、接触１４０１６と接触１４０２０との間の距離が増大するように）第１の接触１４０１６が矢印１４０１８で示す経路に沿って移動し、第２の接触１４０２０が矢印１４０２２で示す経路に沿って移動するジェスチャを含む。図１４Ｇでは、タッチスクリーン１１２との接触１４０１６及び１４０２０が検出される。図１４Ｈにおいて、接触１４０１６は矢印１４０１８で示す経路に沿って移動しており、接触１４０２０は矢印１４０２２で示す経路に沿って移動している。図１４Ｈにおいて、接触１４０２０から離れた接触１４０１６の移動の大きさは、閾値ＳＴに達していないので、仮想オブジェクト１１００２のサイズは、入力に応答してまだ調整されていない。図１４Ｉにおいて、接触１４０１６及び接触１４０２０のスケーリング移動の大きさは閾値ＳＴを超えて増大しており、仮想オブジェクト１１００２のサイズはその入力に応答して（図１４Ｈに示す仮想オブジェクト１１００２のサイズに対して）増大している。スケーリング移動の大きさが閾値ＳＴを超えて増大するとき、仮想オブジェクト１１００２を回転させるのに必要な移動の大きさは増大し（例えば、回転移動量計１４００６で示すように、回転閾値ＲＴはＲＴからＲＴ'へ増大しており）、仮想オブジェクト１１００２を並進するのに必要な移動の大きさは増大する（例えば、並進移動量計１４００２で示すように、並進閾値ＴＴはＴＴからＴＴ'へ増大している）。図１４Ｊにおいて、接触１４０１６及び１４０２０はタッチスクリーン１１２からリフトオフしている。
【０３６２】
図１４Ｋ〜１４Ｍは、１つ以上のカメラの視野６０３６を含むユーザーインターフェース内で仮想オブジェクト１１００２を並進させる（例えば、仮想オブジェクト１１００２を左へ移動させる）入力を示す。仮想オブジェクト１１００２を移動させる入力は、（例えば、接触１４０２４及び接触１４０２８が共に左方へ移動するように）第１の接触１４０２４が矢印１４０２６で示す経路に沿って移動し、第２の接触１４０２８が矢印１４３０で示す経路に沿って移動するジェスチャを含む。図１４Ｋでは、タッチスクリーン１１２との接触１４０２４及び１４０２８が検出される。図１４Ｌにおいて、接触１４０２４は矢印１４０２６で示す経路に沿って移動しており、接触１４０２８は矢印１４０３０で示す経路に沿って移動している。図１４Ｌにおいて、接触１４０２４及び１４０２８の左方移動の大きさは閾値ＴＴに達していないので、仮想オブジェクト１１００２は、まだ入力に応答して移動させられていない。図１４Ｍにおいて、接触１４０２４及び接触１４０２８の左方移動の大きさは閾値ＴＴを超えて増大しており、仮想オブジェクト１１００２は、接触１４０２４及び１４０２８の移動の方向に移動させられている。並進移動の大きさが閾値ＴＴを超えて増大するとき、仮想オブジェクト１１００２をスケーリングするのに必要な移動の大きさは増大しており（例えば、スケーリング移動量計１４００４で示すように、スケーリング閾値ＳＴは、ＳＴからＳＴ'に増大している）、仮想オブジェクト１１００２を回転させるのに必要な移動の大きさは増大している（例えば、回転移動量計１４００６で示すように、回転閾値ＲＴは、ＲＴからＲＴ'に増大している）。図１４Ｎにおいて、接触１４０２４及び１４０２８はタッチスクリーン１１２からリフトオフされている。
【０３６３】
図１４Ｏ〜１４Ｚは、仮想オブジェクト１１００２を並進させる（例えば、仮想オブジェクト１１００２を右に移動させる）、仮想オブジェクト１１００２をスケーリングする（例えば、仮想オブジェクト１１００２のサイズを増大させる）、及び仮想オブジェクト１１００２を回転させるジェスチャを含む入力を示す。図１４Ｏでは、タッチスクリーン１１２との接触１４０３２及び１４０３６が検出される。図１４Ｏ〜１４Ｐにおいて、接触１４０３２は矢印１４０３４で示す経路に沿って移動し、接触１４０３６は矢印１４０３８で示す経路に沿って移動する。接触１４０３２及び１４０３６の右方移動の大きさは、閾値ＴＴを超えて増大しており、仮想オブジェクト１１００２は接触１４０３２及び１４０３６の移動方向に移動させられている。接触１４０３２及び１４０３６の移動による閾値ＴＴの満足の結果として、仮想オブジェクト１１００２をスケーリングするのに必要な移動の大きさはＳＴ'に増大し、仮想オブジェクト１１００２を回転させるのに必要な移動の大きさはＲＴ'になる。（図１４Ｑにおける並進移動量計１４００２で示される高ウォーターマーク１４０４３によって示すように）閾値ＴＴを満足した後、接触１４０３２及び１４０３６の任意の横移動により、仮想オブジェクト１１００２の横移動を引き起こす。
【０３６４】
図１４Ｑ〜１４Ｒにおいて、接触１４０３２は矢印１４０４０で示す経路に沿って移動し、接触１４０３６は矢印１４０４２で示す経路に沿って移動する。図１４Ｒにおいて、接触１４０３６から離れた接触１４０３２の移動の大きさは、元のスケーリング閾値ＳＴを超えているが、増大したスケーリング閾値ＳＴ'に達していない。増大したスケーリング移動閾値ＳＴ'が効果的であるとき、接触１４０３６から離れた接触１４０３２の移動の大きさが増大したスケーリング移動閾値ＳＴ'を超えて増大するまでスケーリングは起こらず、したがって、仮想オブジェクト１１００２のサイズは、図１４Ｑ〜１４Ｒから変化していない。図１４Ｒ〜１４Ｓにおいて、接触１４０３２が矢印１４０４４で示す経路に沿って移動し、接触１４０３６が矢印１４０４６で示す経路に沿って移動するとき、接触１４０３２と１４０４６の間の距離は増大し続ける。図１４Ｓにおいて、接触１４０３６から離れた接触１４０３２の移動の大きさは、増大したスケーリング閾値ＳＴ'を超えており、仮想オブジェクト１１００２のサイズは増大している。（図１４Ｔにおけるスケーリング移動量計１４００４で示す高ウォーターマーク１４０４７によって示すように）閾値ＳＴ'が満足された後、接触１４０３２及び１４０３６の任意のスケーリング移動によって、仮想オブジェクト１１００２のスケーリングを引き起こす。
【０３６５】
図１４Ｔ〜１４Ｕにおいて、接触１４０３２は矢印１４０４８で示す経路に沿って移動し、接触１４０３６は矢印１４０５０で示す経路に沿って移動する。（並進移動量計１４００２で示す高ウォーターマーク１４０４３によって示すように）閾値ＴＴが満たされているので、仮想オブジェクト１１００２は、接触１４０３２及び１４０３６の横移動の方向に自由に移動する。
【０３６６】
図１４Ｖ〜１４Ｗにおいて、接触１４０３２は矢印１４０５２で示す経路に沿って移動し、接触１４０３６は矢印１４０５４で示す経路に沿って移動する。接触１４０３２及び１４０３６の移動は、並進移動（接触１４０３２及び１４０３６の左方移動）と、スケーリング移動（接触１４０３２と接触１４０３６との間の距離を減少させる移動（例えば、ピンチジェスチャ））とを含む。（並進移動量計１４００２で示される高ウォーターマーク１４０４３によって示すように）並進閾値ＴＴが満足させられたため、仮想オブジェクト１１００２は、接触１４０３２及び１４０３６の横移動の方向に自由に移動し、（スケーリング移動量計１４００４で示される高ウォーターマーク１４０４７によって示すように）増大したスケーリング閾値ＳＴ'が満足させられたため、仮想オブジェクト１１００２は、接触１４０３２の接触１４０３６の方への移動に応じて自由にスケーリングする。図１４Ｖから１４Ｗまで、仮想オブジェクト１１００２のサイズは減少しており、仮想オブジェクト１１００２は、矢印１４０５２で示す経路に沿った接触１４０３２の移動、及び矢印１４０５４で示す経路に沿った接触１４０３６の移動に応じて左方に移動している。
【０３６７】
図１４Ｘ〜１４Ｚでは、接触１４０３２が矢印１４０５６で示す経路に沿って反時計方向に回転移動し、接触１４０３６が矢印１４０５８で示す経路に沿って反時計方向に回転移動する。図１４Ｙにおいて、接触１４０３２及び接触１４０３６の回転移動の大きさは、元のスケーリング閾値ＲＴを超えているが、増大したスケーリング閾値ＲＴ'に達していない。増大したスケーリング移動閾値ＲＴ'が効果的であるとき、接触１４０３２及び１４０３６の回転移動の大きさが増大した回転移動閾値ＲＴ'を超えて増大するまで仮想オブジェクト１１００２の回転は起こらず、したがって、仮想オブジェクト１１００２は、図１４Ｘ〜１４Ｙから回転していない。図１４Ｙ〜１４Ｚにおいて、接触１４０３２が矢印１４０６０で示す経路に沿って移動し、接触１４０３６が矢印１４０６２で示す経路に沿って移動するとき、接触１４０３２及び１４０４６は反時計方向に回転移動し続ける。図１４Ｚにおいて、接触１４０３２及び接触１４０３６の回転移動の大きさは増大したスケーリング閾値ＲＴ'を超えおり、仮想オブジェクト１１００２は入力に応答して回転している。
【０３６８】
図１４ＡＡ〜１４ＡＤは、移動の第１の閾値大きさが第１のオブジェクト操作挙動について満たされるとの判定に応じて、第２のオブジェクト操作挙動に必要な移動の第２の閾値大きさを増大させる動作を示すフロー図である。図１４ＡＡ〜１４ＡＤに関して説明する動作は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）、及びタッチ感知面（例えば、タッチ感知面、又は表示生成コンポーネントとタッチ感知面の両方としての役割を果たすタッチスクリーンディスプレイ）を有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル多機能デバイス１００）で実行される。図１４ＡＡ〜１４ＡＤに関して説明した一部の動作は任意選択で組み合わされ、及び／又は一部の動作の順序は任意選択で変更される。
【０３６９】
動作１４０６６で、１つ以上の接触の移動を含むユーザー入力の第１の部分が検出される。動作１４０６８で、（例えば、仮想オブジェクト１１００２に対応する位置における）１つ以上の接触の移動が、オブジェクト回転閾値（例えば、回転移動量計１４００６が示す回転閾値ＲＴ）を超えて増大するか否かが判定される。１つ以上の接触の移動が（例えば、図１４Ｂ〜１４Ｄに関して説明するように）オブジェクト回転閾値を超えて増大しているとの判定に応じて、流れは動作１４０７０に進む。１つ以上の接触の移動がオブジェクト回転閾値を超えて増大していないとの判定に応じて、流れは動作１４０７４に進む。
【０３７０】
動作１４０７０で、オブジェクト（例えば、仮想オブジェクト１１００２）は、（例えば、図１４Ｂ〜１４Ｄに関して説明したように）ユーザー入力の第１の部分に基づいて回転させられる。動作１４０７２で、オブジェクト並進閾値は（例えば、図１４Ｄに関して説明したように、ＴＴからＴＴ'まで）増大し、オブジェクトスケーリング閾値は（例えば、図１４Ｄに関して説明したように、ＳＴからＳＴ'まで）まで増大する。流れは、Ａで示すように、動作１４０７２から図１４ＡＢの動作１４０８６に進む。
【０３７１】
動作１４０７４で、（例えば、仮想オブジェクト１１００２に対応する位置での）１つ以上の接触の移動が、オブジェクト並進閾値（例えば、並進移動量計１４００２によって示す並進閾値ＴＴ）を超えて増大しているか否かが判定される。（例えば、図１４Ｋ〜１４Ｍに関して説明するように）１つ以上の接触の移動がオブジェクト並進閾値を超えて増大するとの判定に応じて、流れは動作１４０７６へ進む。１つ以上の接触の移動がオブジェクト並進閾値を超えて増大していないとの判定に応じて、流れは動作１４０８０へ進む。
【０３７２】
動作１４０７６で、オブジェクト（例えば、仮想オブジェクト１１００２）は、（例えば、図１４Ｋ〜１４Ｍに関して説明したように）ユーザー入力の第１の部分に基づいて並進される。動作１４０７８で、オブジェクト回転閾値は（例えば、図１４Ｍに関して説明したように、ＲＴからＲＴ'へ）増大させられ、オブジェクトスケーリング閾値は（例えば、図１４Ｍに関して説明したように、ＳＴからＳＴ'へ）増大させられる。Ｂに示すように、流れは、動作１４０７８から図１４ＡＣの動作１４１００に進む。
【０３７３】
動作１４０８０で、（例えば、仮想オブジェクト１１００２に対応する位置での）１つ以上の接触の移動は、オブジェクトスケーリング閾値（例えば、スケーリング移動量計１４００４で示すスケーリング閾値ＳＴ）を超えて増大するか否かが判定される。１つ以上の接触の移動が（例えば、図１４Ｇ〜１４Ｉに関して説明したような）オブジェクトスケーリング閾値を超えて増大するとの判定に応じて、流れは動作１４０８２に進む。１つ以上の接触の移動がオブジェクトスケーリング閾値を超えて増大していないとの判定に応じて、流れは動作１４０８５に進む。
【０３７４】
動作１４０８２で、オブジェクト（例えば、仮想オブジェクト１１００２）は、（例えば、図１４Ｇ〜１４Ｉに関して説明したように）ユーザー入力の第１の部分に基づいてスケーリングされる。動作１４０８４では、オブジェクト回転閾値は（例えば、図１４Ｉに関して説明するように、ＲＴからＲＴ'に）増大し、オブジェクト並進閾値は（例えば、図１４Ｉに関して説明するように、ＴＴからＴＴ'に）増大する。Ｃで示すように、流れは動作１４０８４から図１４ＡＤの動作１４１１４へ進む。
【０３７５】
動作１４０８５で、１つ以上の接触の移動を含むユーザー入力の追加部分が検出される。流れは、動作１４０８６から動作１４０６６へ進む。
【０３７６】
図１４ＡＢにおいて、動作１４０８６で、１つ以上の接触の移動を含むユーザー入力の追加部分が検出される。流れは、動作１４０８６から動作１４０８８へ進む。
【０３７７】
動作１４０８８で、１つ以上の接触の移動が回転運動であるか否かが判定される。１つ以上の接触の移動が回転運動であるとの判定に応じて、流れは動作１４０９０に進む。１つ以上の接触の移動が回転運動でないとの判定に応じて、流れは動作１４０９２に進む。
【０３７８】
動作１４０９０で、オブジェクト（例えば、仮想オブジェクト１１００２）は、（例えば、図１４Ｄ〜１４Ｅに関して説明したように）ユーザー入力の追加部分に基づいて回転させられる。回転閾値が予め満たされていたので、オブジェクトは、追加の回転入力に応じて自由に回転する。
【０３７９】
動作１４０９２で、１つ以上の接触の移動が、増大したオブジェクト並進閾値（例えば、図１４Ｄの並進移動量計１４００２によって示す並進閾値ＴＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が、増大したオブジェクト並進閾値を超えて増大しているとの判定に応じて、流れは動作１４０９４に進む。１つ以上の接触の移動が増大したオブジェクト並進閾値を超えて増大していないとの判定に応じて、流れは動作１４０９６に進む。
【０３８０】
動作１４０９４では、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいて並進される。
【０３８１】
動作１４０９６では、１つ以上の接触の移動が、増大したオブジェクトスケーリング閾値（例えば、図１４Ｄのスケーリング移動量計１４００４によって示されるスケーリング閾値ＳＴ'）を超えて増大しているか否か判定される。１つ以上の接触の移動が、増大したオブジェクトスケーリング閾値を超えて増大しているとの判定に応じて、流れは動作１４０９８に進む。１つ以上の接触の移動が、増大したオブジェクトスケーリング閾値を超えて増大していないとの判定に応じて、流れは動作１４０８６に戻る。
【０３８２】
動作１４０９８で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいてスケーリングされる。
【０３８３】
図１４ＡＣにおいて、動作１４１００で、１つ以上の接触の移動を含むユーザー入力の追加部分が検出される。流れは、動作１４１００から動作１４１０２に進む。
【０３８４】
動作１４１０２で、１つ以上の接触の移動が並進移動であるか否か判定される。１つ以上の接触の移動が並進移動であるとの判定に応じて、流れは動作１４０１０４に進む。１つ以上の接触の移動が並進移動でないとの判定に応じて、流れは動作１４１０６に進む。
【０３８５】
動作１４１０４で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいて並進させられる。並進閾値が予め満たされていたので、オブジェクトは、追加の並進入力に応じて自由に並進する。
【０３８６】
動作１４１０６で、１つ以上の接触の移動が、増大したオブジェクト回転閾値（例えば、図１４Ｍの回転移動量計１４００６で示す回転閾値ＲＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が、増大したオブジェクト回転閾値を超えて増大しているとの判定に応じて、流れは動作１４１０８に進む。１つ以上の接触の移動が、増大したオブジェクト回転閾値を超えて増大していないとの判定に応じて、流れは動作１４１１０に進む。
【０３８７】
動作１４１０８で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいて回転させられる。
【０３８８】
動作１４１１０で、１つ以上の接触の移動が増大したオブジェクトスケーリング閾値（例えば、図１４Ｍのスケーリング移動量計１４００４で示すスケーリング閾値ＳＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が増大したオブジェクトスケーリング閾値を超えて増大しているとの判定に応じて、流れは動作１４１１２に進む。１つ以上の接触の移動が増大したオブジェクトスケーリング閾値を超えて増大していないとの判定に応じて、流れは動作１４１００に戻る。
【０３８９】
動作１４１１２で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいてスケーリングされる。
【０３９０】
図１４ＡＤにおいて、動作１４１１４で、１つ以上の接触の移動を含むユーザー入力の追加部分が検出される。流れは、動作１４１１４から動作１４１１６に進む。
【０３９１】
動作１４１１６で、１つ以上の接触の移動がスケーリング移動であるか否かが判定される。１つ以上の接触の移動がスケーリング移動であるとの判定に応じて、流れは動作１４０１１８に進む。１つ以上の接触の移動がスケーリング移動でないとの判定に応じて、流れは動作１４１２０に進む。
【０３９２】
動作１４１１８で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいてスケーリングされる。スケーリング閾値が予め満たされていたので、オブジェクトは、追加のスケーリング入力に応じて自由にスケーリングされる。
【０３９３】
動作１４１２０で、１つ以上の接触の移動が、増大したオブジェクト回転閾値（例えば、図１４Ｉの回転移動量計１４００６で示す回転閾値ＲＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が、増大したオブジェクト回転閾値を超えて増大しているとの判定に応じて、流れは動作１４１２２に進む。１つ以上の接触の移動が、増大したオブジェクト回転閾値を超えて増大していないとの判定に応じて、流れは動作１４１２４に進む。
【０３９４】
動作１４１２２で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいて回転させられる。
【０３９５】
動作１４１２４で、１つ以上の接触の移動が、増大したオブジェクト並進閾値（例えば、図１４Ｉの並進移動量計１４００２で示す並進閾値ＴＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が、増大したオブジェクト並進閾値を超えて増大しているとの判定に応じて、流れは動作１４１２６に進む。１つ以上の接触の移動が、増大したオブジェクト並進閾値を超えて増大していないとの判定に応じて、流れは動作１４１１４に進む。
【０３９６】
図１５Ａ〜１５ＡＩは、デバイスが移動することで、１つ以上のデバイスカメラの表示された視野の外に仮想オブジェクトが移動したという判定に応じて音声警報を生成するユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ〜８Ｅ、図９Ａ〜９Ｄ、図１０Ａ〜１０Ｄ、図１６Ａ〜１６Ｇ、図１７Ａ〜１７Ｄ、図１８Ａ〜１８Ｉ、図１９Ａ〜１９Ｈ、及び図２０Ａ〜２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
【０３９７】
図１５Ａ〜１５ＡＩは、アクセシビリティ特徴がアクティブであるときに行われるユーザーインターフェース及びデバイスの動作を示す。一部の実施形態では、アクセシビリティ特徴は、（例えば、能力に制限のあるユーザーが上記の入力ジェスチャを行うためにデバイス特徴にアクセスする容易性を高めるために）デバイス特徴にアクセスするために減少した数の入力又は代替入力が使用可能であるモードを含む。例えば、アクセシビリティモードは、利用可能なデバイスを介して動作を前進又は逆転させるために第１の入力ジェスチャ（例えば、スワイプ入力）が使用され、現在示されている動作を実行するために選択入力（例えば、二重タップ入力）が使用されるスイッチ制御モードである。ユーザーがデバイスと対話すると、（例えば、操作が行われたことを示すため、デバイスのステージングユーザーインターフェース又は１つ以上のカメラの視野に対して仮想オブジェクト１１００２の現在の表示状態を示すため等、ユーザーにフィードバックを提供するために）音声警報が生成される。
【０３９８】
図１５Ａにおいて、メッセージングユーザーインターフェース５００８は、三次元仮想オブジェクト１１００２の二次元表現を含む。（例えば、現在選択されている動作が、仮想オブジェクト１１００２上で実行される動作であることを示すために）選択カーソル１５００１が、三次元仮想オブジェクト１１００２の周囲に示されている。現在指示されている動作（例えば、ステージングユーザーインターフェース６０１０における仮想オブジェクト１１００２の三次元表現の表示）を行うために、接触１５００２による入力（例えば、二重タップ入力）が検出される。図１５Ｂに示すように、この入力に応答して、メッセージングユーザーインターフェース５０６０の表示は、ステージングユーザーインターフェース６０１０の表示によって置き換えられる。
【０３９９】
図１５Ｂにおいて、仮想オブジェクト１１００２は、ステージングユーザーインターフェース６０１０に表示される。デバイスの状態を示すために、１５００８で示すように、（例えば、デバイススピーカ１１１によって）音声警報が生成される。例えば、音声警報１５００８は、１５０１０で示すように、「現在、椅子はステージングビューで示されている」というアナウンスを含む。
【０４００】
図１５Ｂには、（例えば、現在選択されている動作が、共有動作であることを示すために）選択カーソル１５００１が、共有制御６０２０の周囲に示されている。接触１５００４による入力（例えば、矢印１５００６で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
【０４０１】
図１５Ｃには、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２を上方に傾斜させる動作であることを示すために）チルトアップ制御１５０１２が表示されている。デバイスの状態を示すために、１５０１４で示すように、音声警報が生成される。例えば、音声警報は、１５０１６で示すように、「選択済み：チルトアップボタン」というアナウンスを含む。接触１５０１８による入力（例えば、矢印１５０２０で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
【０４０２】
図１５Ｄには、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２を下方に傾斜させる動作であることを示すために）チルトダウン制御１５０２２が表示されている。音声警報は、１５０２４に示すように、デバイスの状態を示すために生成される。例えば、音声警報は、１５０２６で示すように、「選択済み：チルトダウンボタン」というアナウンスを含む。接触１５０２８による入力（例えば、二重タップ入力）が検出される。この入力に応答して、選択された動作が実行される（例えば、仮想オブジェクト１１００２は、ステージングビュー内で下方に傾斜させられる）。
【０４０３】
図１５Ｅにおいて、仮想オブジェクト１１００２は、ステージングビューにおいて下方に傾斜している。デバイスの状態を示すために、１５０３０に示すように、音声警報が生成される。例えば、音声警報は、「椅子が下に５度傾斜している」というアナウンスを含む。１５０３２に示すように、現在、椅子は画面に向かって１０度傾斜している。
【０４０４】
図１５Ｆにおいて、接触１５０３４による入力（例えば、矢印１５０３６で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
【０４０５】
図１５Ｇには、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２を時計回りに回転させる動作であることを示すために）時計回り回転制御１５０３８が表示されている。音声警報１５０４０は、１５０４２で示すように、「選択済み：時計回りにボタンを回転させる」というアナウンスを含む。接触１５０４４による入力（例えば、矢印１５０４６で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
【０４０６】
図１５Ｈにおいて、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２を反時計回りに回転させる動作であることを示すために）反時計回り回転制御１５０４８が表示される。音声警報１５０５０は、１５０５２で示すように、「選択済み：反時計回りにボタンを回転させる」というアナウンスを含む。接触１５０５４による入力（例えば、二重タップ入力）が検出される。この入力に応答して、選択された動作が実行される（例えば、図１５Ｉに示すように、仮想オブジェクト１１００２は、ステージングビュー内で反時計回りに回転させられる）。
【０４０７】
図１５Ｉにおいて、１５０５８に示すように、音声警報１５０５６は、「椅子を反時計回りに５度回転します。次に、椅子をスクリーンから離れるように５度回転します。」というアナウンスを含む。
【０４０８】
図１５Ｊにおいて、接触１５０６０による入力（例えば、矢印１５０６２で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
【０４０９】
図１５Ｋにおいて、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２をズームする動作であることを示すために）ズーム制御１５０６４が表示される。音声警報１５０６６は、１５０６８で示すように、「縮尺：調節可能」というアナウンスを含む。アナウンスにおいて制御名と併用されるキーワード「調整可能」は、制御を動作させるのにスワイプ入力（例えば、垂直スワイプ入力）が使用可能であることを示す。例えば、上向きのスワイプ入力は、矢印５０７２で示す経路に沿って接触５０７０が上方に移動するときに、接触５０７０によって与えられる。この入力に応答して、ズーム操作が行われる（例えば、図１５Ｋ〜１５Ｌに示すように、仮想オブジェクト１１００２のサイズが増大する）。
【０４１０】
図１５Ｌにおいて、音声警報１５０７４は、１５０７６で示すように、「現在、椅子は元のサイズの１５０パーセントに調整されている」というアナウンスを含む。仮想オブジェクト１１００２のサイズを縮小する入力（例えば、下向きのスワイプ入力）は、矢印５０７８で示す経路に沿って下方に移動する接触５０７８により与えられる。入力に応答して、ズーム操作が実行される（例えば、図１５Ｌ〜１５Ｍに示すように、仮想オブジェクト１１００２のサイズは縮小される）。
【０４１１】
図１５Ｍにおいて、音声警報１５０８２は、１５０８４で示すように、「現在、椅子は元のサイズの１００パーセントに調整されている」というアナウンスを含む。仮想オブジェクト１１００２のサイズは、ステージングビュー６０１０において元々表示されたサイズに調整されるので、（例えば、仮想オブジェクト１１００２がその元のサイズに復帰したことを示すフィードバックを提供するために）（１５０８６で示すような）触知出力が発生する。
【０４１２】
図１５Ｎにおいて、接触１５０８８による入力（例えば、矢印１５０９０で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
【０４１３】
図１５Ｏにおいて、（例えば、現在選択されている動作が先のユーザーインターフェースに復帰する動作であることを示すために）選択カーソル１５００１がバック制御６０１６の周囲に示される。音声警報１５０９２は、１５０９４で示すように、「選択済み：復帰ボタン」というアナウンスを含む。接触１５０９６による入力（例えば、矢印１５０９８で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
【０４１４】
図１５Ｐには、（例えば、現在選択されている動作が、ステージングユーザーインターフェース６０１０の表示とカメラの視野６０３６を含むユーザーインターフェースの表示との間でトグルする動作であることを示すために）選択カーソル１５００１が、トグル制御６０１８の周囲に示されている。音声警報１５０９８は、５０１００で示すように、「選択済み：ワールドビュー／ステージングビュートグル」というアナウンスを含む。接触１５１０２による入力（例えば、二重タップ入力）が検出される。（図１５Ｑに示すように）この入力に応答して、ステージングユーザーインターフェース６０１０の表示は、カメラの視野６０３６を含むユーザーインターフェースの表示によって置き換えられる。
【０４１５】
図１５Ｑ〜１５Ｔは、（例えば、仮想オブジェクト１１００２に対応するプレーンは、カメラの視野６０３６内でまだ検出されていないので）カメラの視野６０３６が表示されるときに発生する較正シーケンスを示す。較正シーケンス中に、仮想オブジェクト１１００２の半透明表現が表示され、カメラの視野６０３６がぼかされ、（デバイス１００の表現１２００４及びプレーンの表現１２０１０を含む）動画像を含むプロンプトが表示されて、ユーザーにデバイスの移動を促す。図１５Ｑにおいて、音声警報１５１０２は、５０１０４で示すように、「プレーンを検出するためにデバイスを移動させる」というアナウンスを含む。図１５Ｑから図１５Ｒまで、デバイス１００は、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）物理的環境５００２に対して移動する。デバイス１００の移動の検出の結果として、図１５Ｓで示すように、較正ユーザーインターフェースオブジェクト１２０１４が表示される。
【０４１６】
図１５Ｓにおいて、音声警報１５１０６は、５０１０８で示すように、「プレーンを検出するためにデバイスを移動させる」というアナウンスを含む。図１５Ｓ〜１５Ｔにおいて、較正ユーザーインターフェースオブジェクト１２０１４は、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）デバイス１００が物理的環境５００２に対して移動するときに回転する。図１５Ｔにおいて、カメラの視野６０３６内で検出される仮想オブジェクト１１００２に対応するプレーンについて十分な動きが生じており、音声警報１５１１０は、５０１１２で示すように、「プレーンが検出された」というアナウンスを含む。図１５Ｕ〜１５Ｖにおいて、仮想オブジェクト１１００２の半透明性は減少し、仮想オブジェクト１１００２は検出されたプレーン上に配置される。
【０４１７】
図１５Ｖにおいて、音声警報１５１１４は、５０１１６で示すように、「現在、椅子は、１００パーセント可視でワールドに投影され、スクリーンの１０パーセントを占める」というアナウンスを含む。触知出力生成器は、仮想オブジェクト１１００２がプレーン上に配置されていることを示す触知出力を（１５１１８で示すように）出力する。仮想オブジェクト１１００２は、物理的環境５００２に対して一定の位置に表示される。
【０４１８】
図１５Ｖ〜１５Ｗにおいて、デバイス１００は、仮想オブジェクト１１００２がカメラの視野６０３６内でもはや見えないように（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）物理的環境５００２に対して移動させられる。カメラの視野６０３６の外に仮想オブジェクト１１００２が移動する結果として、音声警報１５１２２は、５０１２４に示すように、「椅子がスクリーン上にない」というアナウンスを含む。
【０４１９】
図１５Ｗ〜１５Ｘにおいて、デバイス１００は、仮想オブジェクト１１００２が図１５Ｘのカメラの視野６０３６内で再び見えるように物理的環境５００２対して移動されている。仮想オブジェクト１１００２がカメラの視野６０３６内に移動する結果として、音声警報１５１１８は、５０１２０に示すように、「現在、椅子は、１００パーセント可視でワールドに投影され、スクリーンの１０パーセントを占める」というアナウンスを含んで生成される。
【０４２０】
図１５Ｘ〜１５Ｙにおいて、デバイス１００は、（例えば、カメラの視野６０３６内に投影されるときにデバイス１００が仮想オブジェクト１１００２に対して「より近い」ように、及び仮想オブジェクト１１００２が図１５Ｙのカメラの視野６０３６内で部分的に見えるように）物理的環境５００２に対して移動されている。カメラの視野６０３６の外に部分的に仮想オブジェクト１１００２が移動する結果として、音声警報１５１２６は、５０１２８に示すように、「椅子は、９０パーセント可視であり、スクリーンの２０パーセントを占める」というアナウンスを含む。
【０４２１】
一部の実施形態では、仮想オブジェクト１１００２に対応する位置で与えられる入力により、仮想オブジェクト１１００２についての言語情報を含む音声メッセージが提供される。反対に、仮想オブジェクト１１００２及び制御から離れている位置で入力が与えられるときは、仮想オブジェクト１１００２についての言語情報を含む音声メッセージは提供されない。図１５Ｚにおいて、ユーザーインターフェースにおける制御又は仮想オブジェクト１１００２の位置に対応しない位置で接触１５１３２が検出されることを示すために、音声出力１５１３０（例えば「クリック」又は「機械音」）が発生する。図１５ＡＡにおいて、接触１５１３４による入力は、仮想オブジェクト１１００２の位置に対応する位置で検出される。この入力に応答して、５０１３８に示すように、（例えば、仮想オブジェクト１１００２の状態を示す）仮想オブジェクト１１００２に対応する音声警報１５１３６は、「椅子は、９０パーセント可視であり、スクリーンの２０パーセントを占める」というアナウンスを含んで生成される。
【０４２２】
図１５ＡＢ〜１５ＡＩは、カメラの視野６０３６を含むユーザーインターフェースが表示されている間に、スイッチ制御モードにおいて動作を選択及び実行する入力を示す。
【０４２３】
図１５ＡＢにおいて、接触１５１４０による入力（例えば、矢印１５１４２で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、図１５ＡＣで示すように、動作が選択される。
【０４２４】
図１５ＡＣにおいて、（例えば、現在選択されている動作が、仮想オブジェクト１１００２を右に移動させる動作であることを示すために）右方横移動制御１５１４４が表示される。音声警報１５１４６は、１５１４８で示されるように、「選択済み：右ボタンを移動する」というアナウンスを含む。接触１５１５０による入力（例えば、二重タップ入力）が検出される。この入力に応答して、選択された動作が実行される（例えば、仮想オブジェクト１１００２は、図１５ＡＤに示すように、カメラの視野６０３６内で右に移動させられる）。
【０４２５】
図１５ＡＤにおいて、仮想オブジェクト１１００２の移動は、１５１５４で示すように、「椅子は、１００パーセント可視であり、スクリーンの３０パーセントを占める」というアナウンスを含む音声警報１５１５２によって報告される。
【０４２６】
図１５ＡＥにおいて、接触１５１５６による入力（例えば、矢印１５１５８で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
【０４２７】
図１５ＡＦにおいて、（例えば、現在選択されている動作が、仮想オブジェクト１１００２を左に移動させる動作であることを示すために）左方横移動制御１５１６０が表示される。音声警報１５１６２は、１５１６４で示されるように、「選択済み：左に移動する」というアナウンスを含む。接触１５１６６による入力（例えば、矢印１５１６８で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
【０４２８】
図１５ＡＧにおいて、（例えば、現在選択されている動作が、仮想オブジェクト１１００２を時計回りに回転させる動作であることを示すために）時計回り回転制御１５１７０が表示される。音声警報１５１７２は、１５１７４で示すように、「選択済み：時計回りに回転する」というアナウンスを含む。接触１５１７６による入力（例えば、矢印１５１７８で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
【０４２９】
図１５ＡＨにおいて、（例えば、現在選択されている動作が、仮想オブジェクト１１００２を時計回りに回転させる動作であることを示すために）反時計回り回転制御１５１８０が表示される。音声警報１５１８２は、１５１８４で示すように、「選択済み：反時計回りに回転する」というアナウンスを含む。接触１５１８６による入力（例えば、二重タップ入力）が検出される。この入力に応答して、選択された動作が実行される（例えば、図１５ＡＩで示すように、仮想オブジェクト１１００２は反時計回りに回転させられる）。
【０４３０】
図１５ＡＩにおいて、音声警報１５１９０は、「椅子は反時計回りに５度だけ回転した」というアナウンスを含む。１５１６４で示すように、椅子は、現在、スクリーンに対してゼロ度だけ回転している。
【０４３１】
一部の実施形態では、オブジェクト（例えば、仮想オブジェクト１１００２）の少なくとも１つの表面（例えば、下側面）で反射が生じる。反射は、デバイス１００の１つ以上のカメラによって取り込まれる画像データを使用して生成される。例えば、反射は、１つ以上のカメラの視野６０３６内で検出される水プレーン（例えば、床面５０３８）に対応する取り込まれた画像データ（例えば、画像、画像のセット、及び／又は動画）のうちの少なくとも一部に基づく。一部の実施形態では、反射の発生は、（例えば、取り込まれた画像データを仮想の球のモデル上にマッピングすることにより）取り込まれた画像データを含む球状モデルを生成することを含む。
【０４３２】
一部の実施形態では、オブジェクトの表面で生じる反射は、（例えば、プレーンにより近い表面の一部が、プレーンからより遠い表面の一部よりも大きい反射率の大きさを有するように）反射勾配を含む。一部の実施形態では、オブジェクトの表面で生じる反射の反射率の大きさは、表面に対応するテクスチャの反射率値に基づく。例えば、表面の非反射部では反射が生じない。
【０４３３】
一部の実施形態では、反射は、経時的に調整される。例えば、反射は、オブジェクトを移動及び／又はスケーリングする入力を受信したときに調整される（例えば、オブジェクトが移動するとき、オブジェクトの反射は、オブジェクトに対応する位置にあるプレーンの一部を反射するように調整される）。一部の実施形態では、反射は、オブジェクトが（例えば、ｚ軸周りに）回転しているときには調整されない。
【０４３４】
一部の実施形態では、（例えば、オブジェクトに対応するカメラの視野６０３６内で検出されるプレーン上の）決定された位置でオブジェクトを表示する前に、オブジェクトの表面上で反射は生じない。例えば、（例えば、図１１Ｇ〜１１Ｈに関して説明するように）オブジェクトの半透明表現が表示されるとき、及び／又は（例えば、図１２Ｂ〜１２Ｉに関して説明するように）較正が実行されているとき、オブジェクトの表面上で反射は生じない。
【０４３５】
一部の実施形態では、オブジェクトの反射は、カメラの視野６０３６内で検出される１つ以上のプレーン上で生じる。一部の実施形態では、オブジェクトの反射は、カメラの視野６０３６内で生じない。
【０４３６】
図１６Ａ〜１６Ｇは、オブジェクト配置基準が満たされているか否かによって異なる視覚特性を用いる１つ以上のカメラの視野を含むユーザーインターフェースに仮想オブジェクトを表示する方法１６０００を示すフロー図である。方法１６０００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）と、１つ以上の入力デバイス（例えば、タッチ感知面、又は表示生成コンポーネントとタッチ感知面の両方としての役割を果たすタッチスクリーンディスプレイ）と、１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面とは反対のデバイスの側の１つ以上の背面カメラ）とを有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル多機能デバイス１００）で実行される。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるか又はこれに組み込まれている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法１６０００の一部の動作は任意選択で組み合わされ、及び／又は一部の動作の順序は任意選択で変更される。
【０４３７】
デバイスは、（例えば、仮想オブジェクトの移動可能な表現を含むステージングユーザーインターフェースが表示されている間に、及びカメラの視野が表示される前に）１つ以上のカメラの視野のうちの少なくとも一部を含む第１のユーザーインターフェース領域（例えば、拡張現実ビューインターフェース）に仮想オブジェクト（例えば、三次元モデルの表現）を表示する要求を受信する（１６００２）（例えば、この要求は、タッチスクリーンディスプレイ上の仮想オブジェクトの表現上で検出される接触による入力であり、あるいはこの接触は、仮想オブジェクトの表現と同時に表示され、第１の接触により引き起こされるときにＡＲビューの表示をトリガするように構成されているアフォーダンス（例えば、「ＡＲビュー」又は「ワールドビュー」ボタン上のタップ）で検出される）。例えば、図１１Ｆに関して説明したように、要求は、１つ以上のカメラの視野６０３６内に仮想オブジェクト１１００２を表示するための入力である。
【０４３８】
第１のユーザーインターフェース領域に仮想オブジェクトを表示する要求（例えば、デバイスの周囲の物理的環境のビューに仮想オブジェクトを表示する要求）に応答して、デバイスは、表示生成コンポーネントを介して、第１のユーザーインターフェース領域に含まれる１つ以上のカメラの視野のうちの少なくとも一部の上に仮想オブジェクトの表現を表示する（１６００４）（例えば、１つ以上のカメラの視野は、第１のユーザーインターフェースの領域に仮想オブジェクトを表示する要求に応答して表示される）ものであり、１つ以上のカメラの視野は、１つ以上のカメラが位置する物理的環境のビューである。例えば、図１１Ｇに関して説明したように、仮想オブジェクト１１００２は、１つ以上のカメラが位置する物理的環境５００２のビューである１つ以上のカメラの視野６０３６内に表示される。仮想オブジェクトの表現を表示することは、オブジェクト配置基準が満たされるために、１つ以上のカメラの視野内で仮想オブジェクトの配置位置（例えば、プレーン）が識別されることを必要とするオブジェクトの配置基準が満たされていないとの判定に応じて（例えば、第１のユーザーインターフェース領域内で１つ以上のカメラの視野に対して仮想オブジェクトを配置する位置又はプレーンでデバイスが識別されていない（例えば、プレーン識別がまだ進行中であり、又はプレーンを識別するのに十分な画像データがない）とき、オブジェクト配置基準は満たされていない）、第１の１組の視覚特性（例えば、第１の半透明レベル、又は第１の輝度レベル、又は第１の彩度レベル等）を伴うと共に、物理的環境の一部が１つ以上のカメラの視野内に表示されることから独立している第１の向きを伴って、仮想オブジェクトの表現を表示することを含んでおり、例えば、物理的環境（例えば、ステージングビューに設定された向き）から独立していると共に、カメラの視野内で生じる変化（例えば、物理的環境に対するデバイスの移動による変化）から独立して、仮想オブジェクトは、所定のプレーンに相対的である向きでカメラの視野の上で浮いている。例えば、図１１Ｇ〜１１Ｈでは、仮想オブジェクト１１００２についての配置位置がカメラの視野６０３６内で識別されていないので、仮想オブジェクト１１００２の半透明バージョンが表示される。（図１１Ｇ〜１１Ｈに示すように）デバイスが移動するとき、仮想オブジェクト１１００２の向きは変化しない。一部の実施形態では、オブジェクト配置基準は、視野が安定しており、物理的環境の静止画を提供するという要件を含む（例えば、カメラは少なくとも閾値時間中に閾値量よりも少なく移動し、及び／又は要求が受信されて以来少なくとも所定の時間が経過しており、及び／又は十分に前のデバイスの移動でプレーン検出のためにカメラが較正されている。オブジェクト配置基準が満たされている（例えば、第１のユーザーインターフェース領域内に、１つ以上のカメラの視野に対して仮想オブジェクトを配置する位置又は面をデバイスが識別していないときに、オブジェクト配置基準は満たされている）との判定に応じて、デバイスは、第１の１組の視覚特性とは異なるの（例えば、第２の半透明性レベル、又は第２の輝度レベル、又は第２の彩度レベル等で）第２の１組の視覚特性を有すると共に、１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応する第２の向きを有する、仮想オブジェクトの表現を表示する。例えば、図１１Ｉでは、仮想オブジェクト１１００２の配置位置は、カメラの視野６０３６内で識別されているので（例えば、物理的環境５００２内の床面５０３８に対応するプレーン）、仮想オブジェクト１１００２の非半透明バージョンが表示される。仮想オブジェクト１１００２の向き（例えば、タッチスクリーンディスプレイ１１２上の位置）は、図１１Ｈに示す第１の向きから図１１Ｉに示す第２の向きへ変化している。（図１１Ｉから図１１Ｊに示すように）デバイスが移動するとき、仮想オブジェクト１１００２の向きは、（仮想オブジェクト１１００２が物理的環境５００２に対して一定の向きで現在表示されているため）変化する。オブジェクト配置基準が満たされるかどうかに応じて、仮想オブジェクトを第１の１組の視覚特性又は第２の１組の視覚特性と共に表示することにより、（例えば、仮想オブジェクトを表示する要求が受信されているが、１つ以上のカメラの視野内に仮想オブジェクトを配置するために追加の時間及び／又は較正情報が必要されていることを示すために）ユーザーに視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、プレーンに対応する第２の向きでオブジェクトを配置する前に、適切な入力を提供し、仮想オブジェクトを操作する入力をしようするのを防ぐようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
【０４３９】
一部の実施形態では、デバイスは、仮想オブジェクトの表現が第１の１組の視覚特性及び第１の向きを伴って表示されている間に、オブジェクト配置基準が満たされていることを検出する（１６００６）（例えば、仮想オブジェクトが、デバイスの周囲の物理的環境のビューの上に半透明状態でサスペンドされている間に、仮想オブジェクトを配置するプレーンが識別される）。オブジェクト配置基準の検出を開始するのに更なるユーザー入力を必要とせずに、仮想オブジェクトが第１の１組の視覚特性を伴って（例えば、半透明状態で）表示されている間に、オブジェクト配置基準が満たされていることを検出することで、オブジェクト配置に必要な入力数を減少させる。動作を行うために必要な入力の数を減少させることにより、デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
【０４４０】
一部の実施形態では、オブジェクトの配置基準が満たされていることの検出に応答して、デバイスは、表示生成コンポーネントを介して、第１の向きから第２の向きへ移る（例えば、回転する、スケーリングする、並進する、及び／又は上記の組合せ）と共に第１の１組の視覚特性を有することから第２の１組の視覚特性を有することへ変化する仮想オブジェクトの表現を示すアニメーション化された遷移を表示する（１６００８）。例えば、仮想オブジェクトを配置するプレーンがカメラの視野内で識別されると、仮想オブジェクトはその向き、サイズ、半透明性（等）を可視的に調整してそのプレーン上に配置される。（例えば、第１のユーザーインターフェース内で仮想オブジェクトの向きを変えるために更なるユーザー入力を必要とすることなく）第１の向きから第２の向きへアニメーション化された遷移を表示することで、オブジェクト配置に必要な入力数を減少させる。動作を行うために必要な入力の数を減少させることにより、デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
【０４４１】
一部の実施形態では、オブジェクト配置基準が満たされていることの検出（１６０１０）は、１つ以上のカメラの視野内で平面が識別されたことの検出、（例えば、カメラの視野内の物理的環境の実質的に静止したビューに導く）少なくとも閾値時間にわたるデバイスと物理的環境との間の閾値移動量未満の検出、及び第１のユーザーインターフェース領域に仮想オブジェクトを表示させる要求を受信してから少なくとも所定の時間が経過したことの検出のうちの１つ以上を含む。（例えば、プレーンを検出するユーザー入力を必要とせずに１つ以上のカメラの視野内でプレーンを検出することによって）オブジェクト配置基準が満たされていることを検出することで、オブジェクト配置に必要な入力数を減少させる。動作を行うために必要な入力の数を減少させることにより、デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
【０４４２】
一部の実施形態では、デバイスは、１つ以上のカメラの視野内で取り込まれた物理的環境の第１の部分（例えば、物理的環境の第１の部分は、半透明の仮想オブジェクトを通じてユーザーに見える）にわたって、仮想オブジェクトの表現が、第１の１組の視覚特性及び第１の向きを伴って表示される間に（例えば、仮想オブジェクトが、デバイスの周囲の物理的環境のビューの上に半透明状態でサスペンドされている間に）１つ以上のカメラの第１の移動（例えば、デバイスの周囲の物理的環境に対するデバイスの回転及び／又は並進）を検出する（１６０１２）。例えば、図１１Ｇ〜１１Ｈにおいて、１つ以上のカメラは、仮想オブジェクト１１００２の半透明表現が表示されている間、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）移動する。カメラの視野６０３６内に取り込まれ、ユーザーインターフェースに表示される物理的環境の壁及びテーブルは、半透明性の仮想オブジェクト１１００２を通して見える。１つ以上のカメラの第１の移動を検出することに応答して、デバイスは、１つ以上のカメラの視野内に取り込まれる物理的環境の第２の部分にわたって第１の１組の視覚特性及び第１の向きを伴って仮想オブジェクトの表現を表示し（１６０１４）、ただし、物理的環境の第２の部分は、物理的環境の第１の部分とは異なる。例えば、カメラの視野内に示される物理的環境の上で浮かんでいる仮想オブジェクトの半透明バージョンが表示されている間に、カメラの視野内の物理的環境のビューは、デバイスが物理的環境に対して移動するときに、（例えば、半透明性の仮想オブジェクトの背後で）シフト及びスケーリングする。したがって、デバイスの移動中、仮想オブジェクトの半透明バージョンは、カメラの視野内の物理的環境のビューの並進及びスケーリングの結果として、視野内で表される物理的環境の異なる部分の上に重ね合わされる。例えば、図１１Ｈにおいて、カメラの視野６０３６は、図１１Ｇに表示される物理的環境５００２の第１の部分とは異なるの物理的環境５００２の第２の部分を表示する。図１１Ｇ〜１１Ｈにおいて１つ以上のカメラの移動が生じるときに、仮想オブジェクト１１００２の半透明表現の向きは変化しない。１つ以上のカメラの移動の検出に応答して第１の向きで仮想オブジェクトを表示することにより、（例えば、１つ以上のカメラの視野内で取り込まれた物理的環境の一部が１つ以上のカメラの移動に応じて変化するときに、仮想オブジェクトは物理的環境に対して一定の位置にまだ配置されておらず、したがって移動しないことを示すために）ユーザーに視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、プレーンに対応する第２の向きでオブジェクトを配置する前に、仮想オブジェクトを操作する入力をしようするのを防ぐようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
【０４４３】
一部の実施形態では、デバイスは、１つ以上のカメラの視野内に取り込まれる物理的環境の第３の部分（例えば、物理的環境の第３の部分（例えば、仮想オブジェクトを支持する検出されたプレーンの一部）の直接ビューは、仮想オブジェクトによって遮られる）にわたって、仮想オブジェクトの表現が第２の１組の視覚特性及び第２の向きを伴って表示される間に（例えば、オブジェクト配置基準が満たされ、仮想オブジェクトがカメラの視野内の物理的環境内で検出されるプレーン上に配置された後に）、１つ以上のカメラの第２の移動（例えば、デバイスの周囲の物理的環境に対するデバイスの回転及び／又は並進）を検出する（１６０１６）。例えば、図１１Ｉ〜１１Ｊにおいて、１つ以上のカメラは、仮想オブジェクト１１００２の非半透明表現が表示されている間に、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）移動する。デバイスの第２の移動の検出に応答して、デバイスは、１つ以上のカメラの視野内に取り込まれる物理的環境がデバイスの第２の移動に応じて移動する（例えば、シフトする及びスケーリングする）間、１つ以上のカメラの視野内に取り込まれる物理的環境の第３の部分にわたって第２の１組の視覚特性及び第２の向きを伴った仮想オブジェクトの表現の表示を維持し（１６０１８）、第２の向きは、１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応し続ける。例えば、仮想オブジェクトの非半透明性バージョンが、カメラの視野内で示される物理的環境内で検出されるプレーン上の静止位置でドロップされた後、仮想オブジェクトの位置及び向きは、カメラの視野内の物理的環境に対して固定され、仮想オブジェクトは、デバイスが物理的環境に対して移動するときにカメラの視野内の物理的環境と共にシフト及びスケーリングする（例えば、仮想オブジェクト１１００２の非半透明表現は、図１１Ｉ〜１１Ｊ中で１つ以上のカメラの移動が起こるときに、物理的環境５００２内の床面に対してある向きで固定されたままである）。１つ以上のカメラの移動の検出に応答して第２の向きで仮想オブジェクトの表示を維持することにより、（例えば、仮想オブジェクトは、物理的環境に対して一定の位置に配置され、したがって、１つ以上のカメラの移動に応じて、１つ以上のカメラの視野内に取り込まれる物理的環境の一部が変化するときに移動することを示すために）ユーザーに視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、プレーンに対応する第２の向きで配置された仮想オブジェクトについての適切な入力を提供するようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
【０４４４】
一部の実施形態では、オブジェクト配置基準が満たされている（例えば、オブジェクト配置基準は、第１のユーザーインターフェース領域内の１つ以上のカメラの視野に対して仮想オブジェクトを配置する位置又はプレーンでデバイスが識別されていないときに満たされる）との判定に応じて、デバイスは、（例えば、下げられた半透明性レベル、又はより高い輝度レベル、又はより高い彩度レベル等で）第２の１組の視覚特性を有すると共に１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応する第２の向きを有する仮想オブジェクトの表現を表示すると共に、（例えば、デバイスの１つ以上の触知出力発生器を用いて）触知出力を生成する（１６０２０）（例えば、触知出力の発生は、仮想オブジェクトの非半透明の外観への遷移の完了、並びに物理的環境内で検出されるプレーン上のドロップ位置に在る仮想オブジェクトの回転及び並進の完了と同期される）。例えば、図１１Ｉに示すように、仮想オブジェクト１１００２に対応するプレーン（例えば、床面５０３８）に付された仮想オブジェクト１１００２の非半透明表現を表示すると共に、１１０１０で示す触知出力が生成される。オブジェクト配置基準が満たされているとの判定に応じて、触知出力を生成することにより、（例えば、仮想オブジェクトを配置する動作がうまく実行されたことを示す）改善された触覚的フィードバックをユーザーに提供する。改善されたフィードバックをユーザーに提供することにより、（例えば、ユーザーインターフェースを表示情報で乱すことなくオブジェクト配置基準が満たされたことをユーザーが知覚することを可能にする感覚情報を提供することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
【０４４５】
一部の実施形態では、第２の１組の視覚特性を伴うと共に１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応する第２の向きを伴った仮想オブジェクトの表現を表示している間に、デバイスは、１つ以上のカメラの視野内で検出される物理的環境内のプレーンの少なくとも位置又は向きに関する更新を受信する（１６０２２）（例えば、更新されたプレーンの位置及び向きは、最初のプレーン検出結果を使用して仮想オブジェクトを配置した後に蓄積された追加データ、又はより時間がかかる計算方法（例えば、より少ない近似等）に基づくより正確な計算の結果である）。１つ以上のカメラの視野内で検出される物理的環境内のプレーンの少なくとも位置又は向きに関する更新の受信に応答して、デバイスは、更新に応じて仮想オブジェクトの表現の少なくとも位置及び／又は向きを調整する（例えば、更新されたプレーンにより近い仮想オブジェクトを徐々に移動（例えば、並進及び回転）させる）（１６０２４）。（例えば、プレーンに対して仮想オブジェクトを配置するユーザー入力を必要とせずに）物理的環境内のプレーンに関する更新の受信に応答して仮想オブジェクトの位置及び／又は向きを調整することにより、仮想オブジェクトの調整に必要な入力数を減少させる。動作を行うために必要な入力の数を減少させることにより、デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
【０４４６】
一部の実施形態では、第１の１組の視覚特性は、第１のサイズと、第１の半透明レベルとを含み（１６０２６）（例えば、ＡＲビューの中におろされてしまう前、オブジェクトは、ディスプレイに対する一定のサイズと、一定の高い半透明レベルとを有し）、第２の１組の視覚特性は、第１のサイズとは異なるの第２のサイズ（例えば、ＡＲビューにおろされると、オブジェクトは、物理的環境内のサイズ及びドロップ位置に関してシミュレートされた物理的サイズで表示される）と、第１の半透明レベル（例えば、オブジェクトは、ＡＲビューにおいてもはや半透明でない）よりも低い（例えばそれよりも不透明な）第２の半透明レベルとを含む（１６０２８）。例えば、図１１Ｈにおいて、仮想オブジェクト１１００２の半透明表現は第１のサイズで示され、図１１Ｉにおいて、仮想オブジェクト１１００４の非半透明表現は第２の（より小さい）サイズで示される。オブジェクト配置基準が満たされたか否かに応じて、第１のサイズ及び第１の半透明レベル、又は第２のサイズ及び第２の半透明レベルで、仮想オブジェクトを表示することにより、（例えば、仮想オブジェクトを表示する要求が受信されているが、１つ以上のカメラの視野内に仮想オブジェクトを配置するために追加の時間及び／又は較正情報が必要とされていることを示すために）ユーザーへの視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、適切な入力を提供し、プレーンに対応する第２の向きでオブジェクトを配置する前に仮想オブジェクトを操作する入力をしようするのを防ぐようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
【０４４７】
一部の実施形態では、仮想オブジェクトが、１つ以上のカメラの視野のうちの少なくとも一部を含まないそれぞれのユーザーインターフェース（例えば、ステージングユーザーインターフェース）に表示されている間に（例えば、仮想オブジェクトは、デバイスの物理的環境から独立している向きを有する仮想ステージに対して向けられる）、１つ以上のカメラの視野のうちの少なくとも一部を含む第１のユーザーインターフェース領域（例えば、ＡＲビュー）に仮想オブジェクトを表示する要求が受信される（１６０３０）。第１の向きは、仮想オブジェクトの向きに対応し、一方、仮想オブジェクトは、要求が受信された時点でそれぞれのユーザーインターフェースに表示される。例えば、図１１Ｆに関して説明したように、（カメラの視野を含まない）ステージングユーザーインターフェース６０１０が表示されている間に、カメラの視野６０３６を含むユーザーインターフェースに仮想オブジェクト１１００２を表示する要求が受信される。図１１Ｇの仮想オブジェクト１１００２の向き（仮想オブジェクト１１００２は、カメラの視野６０３６を含むユーザーインターフェース内に表示される）は、図１１Ｆの仮想オブジェクト１１００２の向きに対応する（仮想オブジェクト１１００２は、ステージングユーザーインターフェース６０１０に表示される）。（予め表示した）インターフェース（例えば、ステージングユーザーインターフェース）に表示されるような仮想オブジェクトの向きに対応する向きで、第１のユーザーインターフェース（例えば、表示される拡張現実ビュー）に仮想オブジェクトを表示することにより、（例えば、ステージングユーザーインターフェースが表示されている間に与えられたオブジェクト操作入力を使用して、ＡＲビュー内にオブジェクトの向きを確立することができることを示すために）ユーザーに視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、プレーンに対応する第２の向きでオブジェクトを配置する前に、適切な入力を提供し、仮想オブジェクトを操作する入力をしようするのを防ぐようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
【０４４８】
一部の実施形態では、第１の向きは、所定の向き（例えば、１つ以上のカメラの視野のうちの少なくとも一部を含まないそれぞれのユーザーインターフェース内に最初に仮想オブジェクトを表示するときに仮想オブジェクトが表示される向きなどのデフォルトの向き）に対応する（１６０３２）。第１のユーザーインターフェース（例えば、表示される拡張現実ビュー）に第１の１組の視覚特性及び所定の向きを伴って仮想オブジェクトを表示することで（例えば、ステージングユーザーインターフェースに確立される向きに応じて半透明表現をレンダリングするのではなく、予め生成された仮想オブジェクトの半透明表現を表示することを可能にすることによって）、デバイスの電力使用量を削減し、電池寿命を改善する。
【０４４９】
一部の実施形態では、第１のユーザーインターフェース領域（例えば、ＡＲビュー）に第２の１組の視覚特性と１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応する第２の向きとを伴って仮想オブジェクトを表示する間に、デバイスは、１つ以上のカメラの視野内に取り込まれる物理的環境に対して第１のシミュレートされた物理的サイズから第２のシミュレートされた物理的サイズへ（例えば、デフォルトサイズの８０％からデフォルトサイズの１２０％へ、又はその逆へ）（例えば、スケーリング入力（例えば、仮想オブジェクトに向けられるピンチ又はデピンチジェスチャ）の結果として）仮想オブジェクトのシミュレートされた物理的サイズを変更する要求を検出する（１６０３４）。例えば、仮想オブジェクト１１００２のシミュレートされた物理的サイズを減少させる入力は、図１１Ｎ〜１１Ｐに関して説明したようなピンチジェスチャである。仮想オブジェクトのシミュレートされた物理的サイズを変更する要求の検出に応答して、デバイスは、第１のシミュレートされた物理的サイズから第２のシミュレートされた物理的サイズへ仮想オブジェクトのシミュレートされた物理的サイズの徐々の変化に応じて、第１のユーザーインターフェース領域内の仮想オブジェクトの表現の表示サイズを徐々に変化させ（１６０３６）（例えば、１つ以上のカメラの視野内で取り込まれる物理的環境の表示サイズが変わらないままである一方で、仮想オブジェクトの表示サイズは拡大又は縮小し）、第１のユーザーインターフェース領域内の仮想オブジェクトの表現の表示サイズが徐々に変化している間、仮想オブジェクトのシミュレートされた物理的サイズが所定のシミュレートされた物理的サイズ（例えば、デフォルトサイズの１００％）に達したとの判定に応じて、デバイスは、仮想オブジェクトのシミュレートされた物理的サイズが所定のシミュレートされた物理的サイズに達したことを示すための触知出力を生成する。例えば、図１１Ｎ〜１１Ｐに関して説明したように、ピンチジェスチャ入力に応答して、仮想オブジェクト１１００２の表現の表示サイズが徐々に減少する。図１１Ｏにおいて、仮想オブジェクト１１００２の表現の表示サイズが、仮想オブジェクト１１００２のサイズ（例えば、図１１Ｉに示すように、１つ以上のカメラの視野６０３６を含むユーザーインターフェースに当初表示されたような仮想オブジェクト１１００２のサイズ）の１００％に達したときに、１１０２４で示すように触知出力が生成される。仮想オブジェクトのシミュレートされた物理的サイズが所定のシミュレートされた物理的サイズに達したとの判定に応じて触知出力を生成することにより、（例えば、仮想オブジェクトのシミュレートされたサイズを所定サイズに戻す更なる入力が必要とされないことを示すために）ユーザーにフィードバックを提供する。改善された触覚的フィードバックを提供することにより、（例えば、ユーザーインターフェースを表示情報で乱すことなく仮想オブジェクトの所定のシミュレートされた物理的サイズに達したことをユーザーが知覚することを可能にする感覚情報を提供することによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
【０４５０】
いくつかの実施形態では、所定の擬似的な物理サイズとは異なるの仮想オブジェクトの第２の擬似的な物理サイズ（例えば、スケーリング入力（例えば、仮想オブジェクトへ向けられたピンチ又はデピンチジェスチャ）の結果として、デフォルトサイズの１２０％、又は、デフォルトサイズの８０％）において、第１のユーザーインターフェース領域（例えば、ＡＲビュー）内に仮想オブジェクトを表示している間、デバイスは、仮想オブジェクトを所定の擬似的な物理サイズへ戻す要求を検出する（例えば、（仮想オブジェクト、又は、仮想オブジェクトの外部の）タッチスクリーン上におけるタップ又は二重タップ入力を検出する）（１６０３８）。例えば、（図１１Ｎ〜図１１Ｐに関して説明されるように、）ピンチ入力が、仮想オブジェクト１１００２を小型化した後、（図１１Ｒに関して説明されるように、）仮想オブジェクト１１００２に対応する場所において、二重タップ入力が検出される。仮想オブジェクトを所定の擬似的な物理サイズへ戻す要求を検出することに応じて、デバイスは、仮想オブジェクトの擬似的な物理サイズの変化にしたがって、第１のユーザーインターフェース領域内の仮想オブジェクトの表現の表示サイズを、所定の擬似的な物理サイズへ変更する（例えば、表示された仮想オブジェクトのサイズが拡大又は縮小する一方、１つ以上のカメラの視野においてキャプチャされた物理的環境の表示サイズは変わらないままである）（１６０４０）。例えば、図１１Ｒに関して説明される二重タップ入力に応じて、仮想オブジェクト１１００２のサイズは、図１１Ｉに表示されるような仮想オブジェクト１１００２のサイズ（１つ以上のカメラの視野６０３６を含むユーザーインターフェースに元々表示されていたような仮想オブジェクト１１００２のサイズ）へ戻る。いくつかの実施形態では、仮想オブジェクトの擬似的な物理サイズが、所定の擬似的な物理サイズ（例えば、デフォルトサイズの１００％）に達したとの判定にしたがって、デバイスは、仮想オブジェクトの擬似的な物理サイズが、所定の擬似的な物理サイズに達したことを示す触知出力を生成する。（例えば、表示サイズを調節するために提供された入力が、仮想オブジェクトを、所定の擬似的な物理サイズにおいて表示するために十分である場合を推定するようにユーザーへ要求するのではなく、表示サイズを、所定の擬似的な物理サイズへ正確に調節するオプションを提供することによって、）仮想オブジェクトを所定の擬似的な物理サイズへ戻す要求を検出することに応じて、仮想オブジェクトの表示サイズを、所定のサイズへ変更することは、オブジェクトを表示するために必要とされる入力数を、所定のサイズへ低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、さらに、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４５１】
いくつかの実施形態では、デバイスは、物理的環境に対する１つ以上のカメラのそれぞれの位置及び向き（例えば、オブジェクト配置基準が満たされる時における現在の位置及び向き）にしたがって、第２の１組の視覚特性を用いて第２の仮想オブジェクトの表現の方位を設定するためのプレーンを選択し、プレーンを選択することは、（例えば、デバイスが、物理的環境における第１の方向を示す結果として）１つ以上のカメラの視野においてキャプチャされた物理的環境の第１の部分の上方に仮想オブジェクトの表現が表示された（例えば、半透明のオブジェクトのベースが、物理的環境の第１の部分におけるプレーンとオーバラップしている）場合に、オブジェクト配置基準が満たされているとの判定にしたがって、（例えば、オブジェクトのベースと、ディスプレイ上の第１のプレーンとの間のより大きな接近と、第１のプレーンと、物理ワールドにおける物理的環境の第１の部分との間のより大きな接近にしたがって）１つ以上のカメラの視野における物理的環境において検出された多数のプレーンのうちの第１のプレーンを、第２の１組の視覚特性を用いて仮想オブジェクトの第２の表現の向きを設定するためのプレーンとして選択することと、（例えば、デバイスが、物理的環境における第２の方向を示す結果として）１つ以上のカメラの視野においてキャプチャされた物理的環境の第２の部分の上方に仮想オブジェクトの表現が表示された（例えば、半透明のオブジェクトのベースが、物理的環境の第２の部分におけるプレーンとオーバラップしている）場合に、オブジェクト配置基準が満たされているとの判定にしたがって、（例えば、オブジェクトのベースと、ディスプレイ上の第２のプレーンとの間のより大きな接近、及び、第２のプレーンと、物理ワールドにおける物理的環境の第２の部分との間のより大きな接近にしたがって、）１つ以上のカメラの視野における物理的環境において検出された多数のプレーンのうちの第２のプレーンを、視覚特性の第２の１組を用いて仮想オブジェクトの第２の表現の向きを設定するためのプレーンとして選択することとを含み、物理的環境の第１の部分は、物理的境の第２の部分とは異なり、第１のプレーンは、第２のプレーンとは異なる（１６０４２）。（例えば、検出された多くのプレーンのうちのどれが、仮想オブジェクトが設定されたプレーンであるかを指定するユーザー入力を必要とすることなく、）仮想オブジェクトが設定されるプレーンとして、第１のプレーン又は第２のプレーンを選択することは、プレーンを選択するために必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４５２】
いくつかの実施形態では、デバイスは、第２の１組の視覚特性と第２の向きを用いて、第１のユーザーインターフェース領域（例えば、ＡＲビュー）内に仮想オブジェクトを表示することと同時に、スナップショットアフォーダンス（例えば、カメラシャッターボタン）を表示する（１６０４４）。スナップショットアフォーダンスの活性化に応じて、デバイスは、１つ以上のカメラの視野における物理的環境における配置場所において、第２の１組の視覚特性と、１つ以上のカメラのビューの視野内で検出された物理的環境におけるプレーンに対応する第２の向きとを用いて、仮想オブジェクトの表現の現在のビューを含むスナップショット画像をキャプチャする（１６０４６）。現在のオブジェクトのビューのスナップショット画像をキャプチャするためスナップショットアフォーダンスを表示することは、オブジェクトのスナップショット画像をキャプチャするために必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４５３】
いくつかの実施形態では、デバイスは、第１のユーザーインターフェース領域内に、第２の１組の視覚特性を有する仮想オブジェクトの表現とともに、１つ以上の制御アフォーダンス（例えば、ステージングユーザーインターフェースへスイッチバックするためのアフォーダンス、ＡＲビューワから出るためのアフォーダンス、スナップショットをキャプチャするためのアフォーダンス等）を表示する（１６０４８）。例えば、図１１Ｊでは、バック制御６０１６、トグル制御６０１８、及びシェア制御６０２０を含む制御のセットが表示される。第２の１組の視覚特性を有する仮想オブジェクトの表現とともに、１つ以上の制御アフォーダンスを表示している間、デバイスは、制御フェイディング基準が満たされている（例えば、閾値時間の間、（例えば、デバイスの移動及びカメラの視野に対する更新とともに、又は、デバイスの移動及びカメラの視野に対する更新なく）タッチ感知面においてユーザー入力が検出されなかった）ことを検出する（１６０５０）。制御フェージング基準が満たされていることを検出することに応じて、デバイスは、１つ以上のカメラの視野を含む第１のユーザーインターフェース領域内に、第２の１組の視角特性を有する仮想オブジェクトの表現の表示を継続している間、１つ以上の制御アフォーダンスを表示することを停止する（１６０５２）。例えば、図１１Ｋ〜図１１Ｌに関して説明されるように、閾値時間の間、ユーザー入力が検出されない場合、制御６０１６、６０１８、６０２０は、徐々に、フェードアウトし、表示されないようになる。いくつかの実施形態において、制御アフォーダンスがフェードアウェイされた後、タッチ感知面におけるタップ入力、又は、仮想オブジェクトとの相互作用が、デバイスに対して、第１のユーザーインターフェース領域内に、仮想オブジェクトの表現と同時に、制御アフォーダンスを再表示させる。制御フェージング基準が満たされているとの判定に応じて、制御の表示を自動的に停止することは、制御の表示を停止するために必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４５４】
いくつかの実施形態では、第１のユーザーインターフェース領域内に仮想オブジェクトを表示するための要求に応じて、第１のユーザーインターフェース領域に含まれている１つ以上のカメラの視野の少なくとも一部の上方に、仮想オブジェクトの表現を表示する前に、（例えば、１つ以上のカメラの視野においてキャプチャされた物理的環境のための寸法及び空間関係データを生成するために、異なる視野角度からの十分な量の画像が存在しないので、）較正基準が満たされていないとの判定にしたがって、デバイスは、物理的環境に対してデバイスを移動させるための、ユーザーのためのプロンプトを表示する（例えば、方法１７０００を参照して以下により詳細に説明されるように、（例えば、較正ユーザーインターフェースオブジェクトが１つ以上のカメラの視野の、ぶれた画像にオーバレイされる）第１のユーザーインターフェース領域内に、デバイスを移動させるための視覚的なプロンプトを表示し、オプションとして、較正ユーザーインターフェースオブジェクト（例えば、デバイスの移動にしたがって移動する弾力性ワイヤフレームボール又は立方体）を表示する）（１６０５４）。物理的環境に対してデバイスをユーザーが移動させるためのプロンプトを表示することは、（例えば、カメラの視野に仮想オブジェクトを配置するための情報を取得するために、デバイスの移動が必要とされることを示すために、）視覚的フィードバックをユーザーへ提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが較正入力を提供することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する）。
【０４５５】
図１６Ａ〜図１６Ｇにおける動作が説明されている特定の順序は単なる例であり、説明された順序は、これら動作が実行され得る唯一の順序であることを示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１７０００、１８０００、１９０００、及び２００００）に関して本明細書で説明された他の処理の詳細はまた、図１６Ａ〜図１６Ｇに関して上述された方法１６０００に類似の方式でも適用可能であることが注目されるべきである。例えば、方法１６０００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡潔のために、これら詳細は、本明細書では繰り返されない。
【０４５６】
図１７Ａ〜図１７Ｄは、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化される較正ユーザーインターフェースオブジェクトを表示する方法１７０００を例示するフロー図である。方法１７０００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）、１つ以上の入力デバイス（例えば、タッチ感知面、又は、表示生成コンポーネントとタッチ感知面との両方として役立つタッチスクリーンディスプレイ）、１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面から反対側のデバイスの側面上の１つ以上の背面カメラ）、及び、１つ以上のカメラを含むデバイスの姿勢における変化（例えば、周囲の物理的環境に対する向き（例えば、回転、ヨー、及び／又は、傾斜角度）及び位置）を検出するための１つ以上の姿勢センサ（例えば、加速度計、ジャイロスコープ、及び／又は、磁力計）、を有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００）において実行される。方法１７０００におけるいくつかの動作は、オプションで、組み合わされ、及び／又は、いくつかの動作の順序は、オプションで、変更される。
【０４５７】
デバイスは、１つ以上のカメラの視野（例えば、視野は、物理的環境の少なくとも一部をキャプチャする）の表現を含む第１のユーザーインターフェース領域内に、物理的環境（例えば、１つ以上のカメラを含むデバイスの周囲の物理的環境）の拡張現実ビューを表示するための要求を受信する（１７００２）。いくつかの実施形態では、この要求は、仮想オブジェクトのステージングビューから、仮想オブジェクトの、拡張現実ビューへ切り換えるためのボタンにおいて検出されたタップ入力である。いくつかの実施形態では、この要求は、二次元ユーザーインターフェース内に、仮想オブジェクトの表現の隣に表示される、拡張現実アフォーダンスの選択である。いくつかの実施形態では、この要求は、拡張現実測定アプリケーション（例えば、物理的環境の測定を容易にする測定アプリ）の活性化である。例えば、この要求は、図１２Ａに関して説明されるように、１つ以上のカメラの視野６０３６に、仮想オブジェクト１１００２を表示するために、トグル６０１８において検出されたタップ入力である。
【０４５８】
物理的環境の拡張現実ビューを表示するための要求を受信することに応じて、デバイスは、１つ以上のカメラの視野の表現を表示する（例えば、デバイスは、較正基準が満たされていない場合、１つ以上のカメラの視野に、物理的環境のぶれたバージョンを表示する）（１７００４）。例えば、デバイスは、図１２Ｅ−１に図示されるように、１つ以上のカメラの視野６０３６のぶれた表現を表示する。（例えば、１つ以上のカメラの視野においてキャプチャされた物理的環境のための寸法及び空間関係データを生成するために、（例えば、異なる視野角度からの）十分な量の画像データが存在しないので、仮想オブジェクトに対応するプレーンが、１つ以上のカメラの視野内で検出されないので、及び／又は、カメラから利用可能な画像データに基づいて、プレーン検出を開始又はプレーン検出とともに進めるための十分な情報が存在しないので、）物理的環境の拡張現実ビューのための較正基準が満たされていないとの判定にしたがって、デバイスは、（例えば、表示生成コンポーネントによって、及び、（例えば、視野のぶれたバージョンのような）１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内に）物理的環境における１つ以上のカメラの移動にしたがって動的にアニメーション化される較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）を表示する。例えば、図１２Ｅ−１ないし図１２Ｉ−１において、較正ユーザーインターフェースオブジェクト１２０１４が表示される。１つ以上のカメラの移動に従う較正ユーザーインターフェースオブジェクトのアニメーションは、例えば、図１２Ｅ−１ないし図１２Ｆ−１に関して説明される。いくつかの実施形態では、１つ以上のカメラの視野において、１つ以上のプレーン（例えば、床、壁、テーブル等）を検出するために、１つ以上のカメラの視野を分析することは、拡張現実ビューの表現を表示するための要求に対応する入力の初期部分が受信された場合に生じる。いくつかの実施形態では、分析することは、この要求を受信する前（例えば、仮想オブジェクトがステージングビューに表示されている間）に生じる。較正ユーザーインターフェースオブジェクトを表示することは、較正ユーザーインターフェースオブジェクトを表示している間、１つ以上の姿勢センサによって、物理的環境における１つ以上のカメラの姿勢（例えば、場所及び／又は向き（例えば、回転、傾斜、ヨー角））における変化を検出することと、物理的環境における１つ以上のカメラの姿勢における変化を検出することに応じて、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）の少なくとも１つの表示パラメータ（例えば、ディスプレイにおける向き、サイズ、回転、又は場所）を調節することと、を含む。例えば、図１２Ｅ−２ないし図１２Ｆ−２にそれぞれ対応する図１２Ｅ−１ないし図１２Ｆ−１は、物理的環境５００２に対するデバイス１００の横移動と、デバイスの１つ以上のカメラの、表示された視野６０３６における対応する変化とを例示する。図１２Ｅ−２ないし図１２Ｆ−２では、較正ユーザーインターフェースオブジェクト１２０１４は、１つ以上のカメラの移動に応じて回転する。
【０４５９】
物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、ディスプレイ上を移動する較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）を表示している間、デバイスは、較正基準が満たされていないことを検出する（１７００６）。例えば、図１２Ｅ〜図１２Ｊに関して説明されるように、デバイスは、図１２Ｅ−１ないし図１２Ｉ−１から生じるデバイスの移動に応じて、較正基準が満たされていることを判定する。
【０４６０】
較正基準が満たされていることを検出することに応じて、デバイスは、較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）の表示を停止する（１７００８）。いくつかの実施形態では、デバイスが、較正ユーザーインターフェースオブジェクトの表示を停止した後、デバイスは、カメラの視野の表現を、ぶれなく表示する。いくつかの実施形態では、仮想オブジェクトの表現は、カメラの視野のぶれのない表現の上方に表示される。例えば、図１２Ｊにおいて、図１２Ｅ−１ないし図１２Ｉ−１に関して説明されるデバイスの移動に応じて、較正ユーザーインターフェースオブジェクト１２０１４は、もはや表示されず、仮想オブジェクト１１００２が、カメラの視野の、ぶれのない表現６０３６にわたって表示される。１つ以上のカメラ（例えば、デバイスの物理的環境をキャプチャするデバイスカメラ）の移動にしたがって較正ユーザーインターフェースオブジェクトの表示パラメータを調節することは、（例えば、較正のためにデバイスの移動が必要とされていることを示すために）視覚的フィードバックをユーザーへ提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、較正基準を満たすために必要とされる情報を提供する方式で、ユーザーがデバイスを移動させることを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４６１】
いくつかの実施形態では、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内に、物理的環境（例えば、１つ以上のカメラを含むデバイスの周囲の物理的環境）の拡張現実ビューを表示するための要求は、物理的環境の拡張現実ビューにおける仮想三次元オブジェクト（例えば、三次元モデルを有する仮想オブジェクト）の表現を表示するための要求を含む（１７０１０）。いくつかの実施形態では、この要求は、仮想オブジェクトのステージングビューから、仮想オブジェクトの拡張現実ビューへ切り換えるためのボタンにおいて検出されたタップ入力である。いくつかの実施形態では、この要求は、二次元ユーザーインターフェース内に、仮想オブジェクトの表現の隣に表示される拡張現実アフォーダンスの選択である。例えば、図１２Ａでは、トグル制御６０１８に対応する場所における接触１２００２による入力は、図１２Ｂに図示されるように、カメラの視野６０３６を含むユーザーインターフェース内に、仮想オブジェクト１１００２を表示するための要求である。拡張現実ビューにおいて仮想オブジェクトを表示するための要求に応じて、物理的環境の拡張現実ビューを表示することは、（例えば、物理的環境と仮想オブジェクトとの両方のビューを表示するために）必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、（例えば、ユーザーが較正入力を提供することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４６２】
いくつかの実施形態では、デバイスは、較正ユーザーインターフェースオブジェクトの表示を停止した後、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内に、仮想三次元オブジェクトの表現を（例えば、較正基準が満たされた後に）表示する（１７０１２）。いくつかの実施形態では、この要求に応じて、較正が完了し、カメラの視野が十分鮮明に表示された後、仮想オブジェクトは、１つ以上のカメラの視野内で識別された所定のプレーン（例えば、仮想オブジェクトの三次元表現のためのサポートプレーンとして役立ち得る垂直壁又は水平床面のような物理的なプレーン）に対して所定の位置及び／又は向きへドロップする。例えば、図１２Ｊにおいて、デバイスは、図１２Ｅ〜図１２Ｉに表示された較正ユーザーインターフェースオブジェクト１２０１４を表示することを停止し、仮想オブジェクト１１００２は、カメラの視野６０３６を含むユーザーインターフェース内に表示される。較正ユーザーインターフェースオブジェクトの表示の停止後、表示された拡張現実ビューで仮想オブジェクトを表示することは、（例えば、較正基準が満たされていることを示すために）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することと、較正基準が満たされる前に仮想オブジェクトを操作するための入力の提供を試みることを回避することとを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４６３】
いくつかの実施形態では、デバイスは、較正ユーザーインターフェースオブジェクトと同時に（例えば、較正ユーザーインターフェースオブジェクトの後方に）、第１のユーザーインターフェース領域内に、仮想三次元オブジェクトの表現を（例えば、較正基準が満たされる前に）表示し、仮想三次元オブジェクトの表現は、物理的環境における１つ以上のカメラの移動中（例えば、較正ユーザーインターフェースオブジェクトが、１つ以上のカメラの移動にしたがって、第１のユーザーインターフェース領域内で移動されている間）、第１のユーザーインターフェース領域内の固定位置にとどまる（例えば、仮想三次元オブジェクトは、物理的環境における場所に配置されない）（１７０１４）。例えば、図１２Ｅ−１ないし図１２Ｉ−１において、仮想オブジェクト１１００２の表現は、較正ユーザーインターフェースオブジェクト１２０１４と同時に表示される。（例えば、図１２Ｅ−１ないし図１２Ｆ−１及び対応する図１２Ｅ−２ないし図１２Ｆ−２に例示されるように）１つ以上のカメラを含むデバイス１００が移動すると、仮想オブジェクト１１００２は、１つ以上のカメラの視野６０３６を含むユーザーインターフェース内の固定場所にとどまる。仮想オブジェクトを較正ユーザーインターフェースオブジェクトと同時に表示することは、（例えば、較正が実行されているオブジェクトを示すために）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、仮想オブジェクトが配置されるプレーンに対応する較正入力を、ユーザーが提供することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４６４】
いくつかの実施形態では、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内に、物理的環境（例えば、１つ以上のカメラを含むデバイスの周囲の物理的環境）の拡張現実ビューを表示するための要求は、１つ以上のカメラの視野にキャプチャされた物理的環境におけるいずれの仮想三次元オブジェクト（例えば、三次元モデルを有する仮想オブジェクト）の表現の表示も要求することなく、（例えば、１つ以上のユーザーインターフェースオブジェクト、及び／又は、制御（例えば、プレーン、オブジェクト、ポインタ、アイコン、マーカ等の輪郭）を用いて、）１つ以上のカメラの視野の表現を表示するための要求を含む（１７０１６）。いくつかの実施形態では、この要求は、二次元ユーザーインターフェース内に、仮想オブジェクトの表現の隣に表示される、拡張現実アフォーダンスの選択である。いくつかの実施形態では、この要求は、拡張現実ビュー測定アプリケーション（例えば、物理的環境の測定を容易にする測定アプリ）の活性化である。いずれの仮想三次元オブジェクトの表現の表示も要求することなく、１つ以上のカメラの視野の表現を表示するための要求は、（例えば、仮想オブジェクトが表示されるか否かに関わらず、較正が必要とされることを示すために、同じ較正ユーザーインターフェースオブジェクトを使用することによって）フィードバックを提供する。改善されたフィードバックをユーザーへ提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４６５】
いくつかの実施形態では、物理的環境の拡張現実ビューを表示するための要求を受信することに応じて、デバイスは、１つ以上のカメラの視野の表現を表示し（例えば、較正基準が満たされない場合、１つ以上のカメラの視野における物理的環境のぶれたバージョンを表示し）、（例えば、１つ以上のカメラの視野においてキャプチャされた物理的環境のための寸法及び空間関係データを生成するために（例えば、異なる視野角度からの）十分な量の画像データが存在するので、仮想オブジェクトに対応するプレーンが、１つ以上のカメラの視野内で検出されたので、及び／又は、カメラからの利用可能な画像データに基づいて、プレーン検出を開始又はプレーン検出とともに進めるための十分な情報が存在するので、）物理的環境の拡張現実ビューのために較正基準が満たされているとの判定にしたがって、デバイスは、較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）の表示を控える（１７０１８）。いくつかの実施形態では、仮想三次元オブジェクトが、ステージングユーザーインターフェース内に表示されている間に、プレーンに関する物理的環境のスキャンが始まる。これによって、デバイスは、（例えば、物理的空間における１つ以上のプレーンを検出するために十分なデータを提供するために、カメラの視野が十分移動した）いくつかの状況において、拡張現実ビューを表示する前に、物理的空間における１つ以上のプレーンを検出することが可能となり、これによって、較正ユーザーインターフェースは、表示される必要がなくなる。物理的環境の拡張現実ビューのために、較正基準が満たされているとの判定にしたがって、較正ユーザーインターフェースオブジェクトの表示を控えることは、視覚的フィードバックをユーザーへ提供する（例えば、較正ユーザーインターフェースオブジェクトの不在は、較正基準が満たされており、較正のためにデバイスの移動は必要とされないことを示す）。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、較正の目的のために、ユーザーがデバイスの不要な移動を回避することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４６６】
いくつかの実施形態では、デバイスは、（例えば、較正ユーザーインターフェースオブジェクトの隣の）拡張現実ビューの較正を改善するために、ユーザーによって講じられ得る動作に関する情報を提供する較正ユーザーインターフェースオブジェクトと同時に、第１のユーザーインターフェース領域内に、テキストオブジェクト（例えば、現在検出されているエラー状態を記述しているテキスト記述、及び／又は、（例えば、検出されたエラー状態を修正するために）ユーザー動作を要求するテキストプロンプト）を（例えば、較正基準が満たされる前に）表示する（１７０２０）。いくつかの実施形態では、テキストオブジェクトは、「移動しすぎ」、「下に細かく」、「もっと近くに移動して下さい」等のような、デバイスの移動のためのプロンプトを（現在、検出されているエラー状態とともに）ユーザーへ提供する。いくつかの実施形態では、デバイスは、較正処理中のユーザーの動作と、ユーザーの動作に基づいて検出された新たなエラー状態とにしたがって、テキストオブジェクトを更新する。較正ユーザーインターフェースオブジェクトと同時にテキストを表示することは、（例えば、較正のために必要とされる移動のタイプを示す文字指示を提供する）視覚的フィードバックをユーザーへ提供する。改善された視覚的フィードバックをユーザーへ提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合、ユーザー誤りを低減する）。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４６７】
いくつかの実施形態では、較正基準が満たされていること（例えば、較正ユーザーインターフェースオブジェクトが表示される前に満たされている基準、又は、較正ユーザーインターフェースオブジェクトが表示され、ある期間、アニメーション化された後に満たされた基準）を検出することに応じて、デバイスは、（例えば、較正ユーザーインターフェースオブジェクトが最初に表示されたのであれば、較正ユーザーインターフェースオブジェクトの表示を停止した後に、）１つ以上のカメラの視野においてキャプチャされた物理的環境において検出されたプレーンの視覚的な指示を表示する（例えば、検出されたプレーンの周囲の輪郭を表示する、又は、検出されたプレーンを強調する）（１７０２２）。例えば、図１２Ｊでは、１つ以上のカメラの表示された視野６０３６においてキャプチャされると、物理的環境５００２においてプレーンが検出されたことを示すために、プレーン（床面５０３８）が強調されている。検出されたプレーンを示す視覚的な指示を表示することは、（例えば、デバイスカメラによってキャプチャされた物理的環境においてプレーンが検出されたことを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４６８】
いくつかの実施形態では、物理的環境の拡張現実ビューを表示するための要求を受信することに応じて、較正基準が満たされていないとの判定にしたがって、較正ユーザーインターフェースオブジェクトを表示する前に、デバイスは、（例えば、表示生成コンポーネントによって、及び、１つ以上のカメラの視野の表現（例えば、視野のぶれたバージョン）を含む第１のユーザーインターフェース領域内に、）プレーンの表現に対して移動するデバイスの表現（例えば、プレーンの表現に対するデバイスの表現の移動は、ユーザーによって影響されるべき、必要とされるデバイスの移動を示す）を含むアニメーション化されたプロンプトオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）を表示する（１７０２４）。例えば、アニメーション化されたプロンプトオブジェクトは、図１２Ｂ〜図１２Ｄに関して説明されるように、プレーンの表現１２０１０に対して移動するデバイス１００の表現１２００４を含む。いくつかの実施形態では、デバイスは、デバイスが、デバイスの移動を検出した（例えば、較正を進めることができる手法で、ユーザーが、デバイスの移動を開始したことを示す）場合、アニメーション化されたプロンプトオブジェクトの表示を停止する。いくつかの実施形態では、デバイスが、デバイスの移動を検出した場合、かつ、デバイスの較正に関して更にユーザーをガイドする較正が完了される前に、デバイスは、アニメーション化されたプロンプトオブジェクトの表示を、較正ユーザーインターフェースオブジェクトと置き換える。例えば、図１２Ｃ〜図１２Ｅに関して説明されるように、（図１２Ｃ〜図１２Ｄに図示されるように）デバイスの移動が検出された場合、デバイス１００の表現１２００４を含むアニメーション化されたプロンプトは、表示が停止され、較正ユーザーインターフェースオブジェクト１２０１４が、図１２Ｅに表示される。プレーンの表現に対して移動するデバイスの表現を含む、アニメーション化されたプロンプトオブジェクトを表示することは、（例えば、較正のために必要とされるデバイスの移動のタイプを例示するための）視覚的フィードバックをユーザーへ提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、較正基準を満たすために必要とされる情報を提供する方式で、ユーザーがデバイスを移動させることを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４６９】
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢において検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、物理的環境における１つ以上のカメラの第１の量の移動にしたがって、較正ユーザーインターフェースオブジェクトを第１の量、移動させることと、物理的環境における１つ以上のカメラの第２の量の移動にしたがって、較正ユーザーインターフェースオブジェクトを第２の量、移動させることとを含み、第１の量は、第２の量とは異なり（例えば、第２の量よりも大きく）、第１の量の移動は、第２の量の移動とは異なる（例えば、第２の量よりも大きい）（例えば、第１及び第２の量の移動は、物理的環境における同じ方向における移動に基づいて測定される）。較正ユーザーインターフェースオブジェクトを、１つ以上の（デバイス）カメラの移動の大きさに対応する量、移動させることは、（例えば、較正ユーザーインターフェースオブジェクトの移動が、較正のために必要とされるデバイスの移動のためのガイドであることをユーザーへ示す）視覚的フィードバックを提供する（１７０２６）。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４７０】
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、１つ以上のカメラの姿勢において検出された変化が、第１のタイプの移動（例えば、左側、右側、又は前後側のような横方向移動）に対応する（そして、第２のタイプの移動（例えば、上方、下方、及び上下移動のような垂直移動）に対応しない）との判定にしたがって、第１のタイプの移動に基いて、較正ユーザーインターフェースオブジェクトを移動させること（例えば、（例えば、較正ユーザーインターフェースオブジェクトによって、垂直軸の周りに較正ユーザーインターフェースオブジェクトを回転させることのように）第１の方式で較正ユーザーインターフェースオブジェクトを移動させること）と、１つ以上のカメラの姿勢における検出された変化が、第２のタイプの移動に対応する（そして、第１のタイプの移動に対応しない）との判定にしたがって、第２のタイプの移動に基づいて、較正ユーザーインターフェースオブジェクトを移動させることを控えること（例えば、較正ユーザーインターフェースオブジェクトを第１の方式で移動させることを控えること、すなわち、較正ユーザーインターフェースオブジェクトを静止させたままに維持すること）とを含む（１７０２８）。例えば、（図１２Ｆ−１ないし図１２Ｇ−１、及び図１２Ｆ−２ないし図１２Ｇ−２に関して説明されるように、）１つ以上のカメラを含むデバイス１００の横方向移動は、較正ユーザーインターフェースオブジェクト１２０１４を回転させる一方、（例えば、図１２Ｇ−１ないし図１２Ｈ−１及び図１２Ｇ−２ないし図１２Ｈ−２に関して説明されるように、）デバイス１００の垂直移動は、較正ユーザーインターフェースオブジェクト１２０１４を回転させない。デバイスカメラの姿勢における検出された変化が、第２のタイプの移動に対応しているとの判定にしたがって、較正ユーザーインターフェースオブジェクトの移動を控えることは、（例えば、１つ以上のカメラの第２のタイプの移動が、較正のために必要とされていないことをユーザーへ示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが不要な入力を提供することを回避することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４７１】
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、第１のユーザーインターフェース領域の上方における較正ユーザーインターフェースオブジェクトの特徴的な表示場所（例えば、地理的中心の場所、又は、ディスプレイ上の較正ユーザーインターフェースオブジェクトの軸）を変更することなく、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトを移動（例えば、回転及び／又は傾斜）させることを含む（例えば、較正ユーザーインターフェースオブジェクトは、ディスプレイ上の固定場所へアンカーされる一方、物理的環境は、較正ユーザーインターフェースオブジェクトの真下の１つ以上のカメラの視野内で移動する）（１７０３０）。例えば、図１２Ｅ−１ないし図１２Ｉ−１では、較正ユーザーインターフェースオブジェクト１２０１４は、ディスプレイ１１２に対して固定された場所にとどまりながら回転する。較正ユーザーインターフェースオブジェクトの特徴的な表示場所を変更することなく、較正ユーザーインターフェースオブジェクトを移動させることは、（例えば、較正ユーザーインターフェースオブジェクトが、表示された拡張現実環境に対する場所に配置された仮想オブジェクトとは異なることを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを回避し、ユーザー入力誤りを低減することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４７２】
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、物理的環境における１つ以上のカメラの移動方向に垂直な軸の周りに較正ユーザーインターフェースオブジェクトを回転させることを含む（例えば、（例えば、カメラを含む）デバイスがｘ−ｙ面上を前後に移動している場合、較正ユーザーインターフェースオブジェクトは、ｚ軸の周りに回転するか、又は、（例えば、カメラを含む）デバイスがｘ軸（例えば、ｘ軸は、物理的環境に対する水平方向として定義され、例えば、タッチスクリーンディスプレイのプレーン内に位置する）に沿って左右交互に移動している場合、較正ユーザーインターフェースオブジェクトは、ｙ軸の周りに回転する）（１７０３２）。例えば、図１２Ｅ−１ないし図１２Ｇ−１では、較正ユーザーインターフェースオブジェクト１２０１４は、図１２Ｅ−２ないし図１２Ｇ−２に図示されるように、デバイスの横方向移動に垂直な垂直軸の周りに回転する。デバイスカメラの移動に垂直な軸の周りに較正ユーザーインターフェースオブジェクトを回転させることは、（例えば、較正ユーザーインターフェースオブジェクトの移動が、較正のために必要とされるデバイスの移動のためのガイドであることをユーザーへ示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４７３】
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、１つ以上のカメラの視野内で検出された変化の速度（例えば、物理的環境の移動速度）にしたがって判定された速度で較正ユーザーインターフェースオブジェクトを移動させることを含む（１７０３４）。デバイスカメラの姿勢における変化にしたがって判定された速度で較正ユーザーインターフェースオブジェクトを移動させることは、（例えば、較正ユーザーインターフェースオブジェクトの移動が、較正のために必要とされるデバイスの移動のためのガイドであることをユーザーへを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４７４】
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、１つ以上のカメラの視野内で検出された変化（例えば、物理的環境の移動速度）の方向にしたがって判定された方向において、較正ユーザーインターフェースオブジェクトを移動させることを含む（例えば、デバイスは、右から左へのデバイスの移動のために較正ユーザーインターフェースオブジェクトを時計回りに回転させ、左から右へのデバイスの移動のために較正ユーザーインターフェースオブジェクトを反時計回りに回転させるか、又は、デバイスは、右から左へのデバイスの移動のために較正ユーザーインターフェースオブジェクトを反時計回りに回転させ、左から右へのデバイスの移動のために較正ユーザーインターフェースオブジェクトを時計回りに回転させる）（１７０３６）。デバイスカメラの姿勢における変化にしたがって判定された方向において較正ユーザーインターフェースオブジェクトを移動させることは、（例えば、較正ユーザーインターフェースオブジェクトの移動が、較正のために必要とされるデバイスの移動のためのガイドであることをユーザーへ示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４７５】
図１７Ａ〜図１７Ｄにおける動作が説明されている特定の順序は、単なる例であり、説明された順序は、動作が実行され得る唯一の順序を示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１８０００、１９０００、及び２００００）に関して本明細書で説明された他の処理の詳細はまた、図１７Ａ〜図１７Ｄに関して上述された方法１７０００に対して類似した方式でも適用可能であることが注目されるべきである。例えば、方法１７０００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１８０００、１９０００、及び２００００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡潔のために、これら詳細は、本明細書では繰り返されない。
【０４７６】
図１８Ａ〜図１８Ｉは、軸の周りの仮想オブジェクトの回転を拘束する方法１８０００を例示するフロー図である。方法１８０００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）と、１つ以上の入力デバイス（例えば、タッチ感知面、又は、表示生成コンポーネントとタッチ感知面との両方として役立つタッチスクリーンディスプレイ）と、１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面から反対側のデバイスの側面上の１つ以上の背面カメラ）と、１つ以上のカメラを含むデバイスの姿勢（例えば、周囲の物理的環境に対する向き（例えば、回転、ヨー、及び／又は、傾斜角度）及び位置）における変化を検出するための１つ以上の姿勢センサ（たとえば、加速度計、ジャイロスコープ、及び／又は、磁力計）と、を有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００）において実行される。方法１８０００におけるいくつかの動作は、オプションで、組み合わされるか、及び／又は、いくつかの動作の順序が、オプションで、変更される。
【０４７７】
デバイスは、表示生成コンポーネントによって、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース又は拡張現実ユーザーインターフェース）内に、仮想三次元オブジェクトの第１の視点の表現を表示する（１８００２）。例えば、図１３Ｂに図示されるように、仮想オブジェクト１１００２が、ステージングユーザーインターフェース６０１０内に図示される。
【０４７８】
ディスプレイ上の第１のユーザーインターフェース領域内に、視覚的な三次元オブジェクトの第１の視点の表現を表示している間、デバイスは、仮想三次元オブジェクトの第１の視点から見えない仮想三次元オブジェクトの一部を表示するために、ディスプレイ（例えば、タッチスクリーンディスプレイのプレーンのような表示生成コンポーネントに対応する表示面）に対して仮想三次元オブジェクトを回転させるための要求に対応する第１の入力（例えば、タッチ感知面における（例えば、１本又は２本の指の接触による）スワイプ入力、又は、旋回入力（例えば、２本指回転、又は、別の指接触の周りの１本指の接触旋回））を検出する（１８００４）。例えば、この要求は、図１３Ｂ〜図１３Ｃに関して説明されるような入力、又は、図１３Ｅ〜図１３Ｆに関して説明されるような入力である。
【０４７９】
第１の入力を検出することに応じて（１８００６）、第１の入力が、第１の軸（例えば、ｘ軸のような水平方向におけるディスプレイのプレーン（例えば、ｘ−ｙ面）に平行である第１の軸）の周りに三次元オブジェクトを回転させるための要求に対応しているとの判定にしたがって、デバイスは、第１の入力の大きさ（例えば、タッチ感知面（例えば、ディスプレイのｘ−ｙ面に対する対応するｘ−ｙ面）の垂直軸（例えば、ｙ軸）に沿ったスワイプ入力の速度及び／又は距離）に基づいて判定された量、第１の軸に対して仮想三次元オブジェクトを回転させ、第１の軸に対する閾値回転量よりも大きい、仮想三次元オブジェクトの回転を限定する移動に対する制限によって拘束される（例えば、第１の軸の周りの回転は、第１の軸の周り＋／−３０度の範囲に限定され、この範囲を超える回転は、第１の入力の大きさに関わらず禁止される）。例えば、図１３Ｅ〜図１３Ｇに関して説明されるように、仮想オブジェクト１１００２の回転は、制限によって拘束される。第１の入力が、第１の軸とは異なる第２の軸（例えば、ｙ軸のような垂直方向におけるディスプレイのプレーン（例えば、ｘ−ｙ面）に平行である第２の軸）の周りに三次元オブジェクトを回転させるための要求に対応するとの判定にしたがって、デバイスは、仮想三次元オブジェクトを、第１の入力の大きさに基づいて判定された量（例えば、タッチ感知面（例えば、ディスプレイのｘ−ｙ面に対する対応するｘ−ｙ面）の水平軸（例えば、ｘ軸）に沿ったスワイプ入力の速度及び／又は距離）、第２の軸に対して回転させ、それぞれの閾値を超える大きさを有する入力については、デバイスは、閾値回転量よりも多く、第２の軸に対して仮想三次元オブジェクトを回転させる。いくつかの実施形態では、第２の軸に対する回転のために、デバイスは、第１の軸に対する回転に対する拘束よりも大きな拘束を回転に課す（例えば、三次元オブジェクトは、３０度の代わりに６０度回転することを許容される）。いくつかの実施形態では、第２の軸に対する回転のために、デバイスは、回転に対して拘束を課さず、これによって、三次元オブジェクトは、第２の軸の周りに自由に回転できるようになる（例えば、１つ以上の接触の移動を含む速い又は長いスワイプ入力のような十分高い大きさを伴う入力について、三次元オブジェクトは、第２の軸に対して３６０度よりも大きく回転することができる）。例えば、図１３Ｅ〜図１３Ｇに関して説明された入力に応じた、ｘ軸の周りの仮想オブジェクト１１００２の回転量よりも大きな、仮想オブジェクト１１００２の回転量が、図１３Ｂ〜図１３Ｃに関して説明される入力に応じて、ｙ軸の周りで生じる。入力が、オブジェクトを、第１の軸の周り、又は、第２の軸の周りに回転させるための要求であるかに依存して、オブジェクトを、閾値量へ拘束された量、回転させるか、又は、オブジェクトを、閾値量よりも多く回転させるかを決定することは、異なるタイプの回転動作を制御する機能を改善する。表示された追加の制御を用いて、ユーザーインターフェースを混乱させることなく追加の制御オプションを提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。
【０４８０】
いくつかの実施形態では、第１の入力を検出することに応じて（１８００８）、第１の入力が、第１の方向（例えば、ｙ方向、タッチ感知面における垂直方向）におけるタッチ感知面を介した接触の第１の移動を含んでおり、第１の方向における接触の第１の移動が、第１の軸に対して仮想オブジェクトの表現を回転させるための第１の基準を満たしているとの判定であって、第１の基準は、第１の基準が満たされるために、第１の入力が、第１の方向における第１の閾値移動量よりも多くを含むとの要件を含む（例えば、デバイスは、デバイスが、第１の方向において、第１の閾値移動量よりも多くを検出するまで、第１の軸の周りの三次元オブジェクトの回転を開始しない）、判定にしたがって、デバイスは、第１の入力が、三次元オブジェクトを第１の軸（例えば、ｘ軸、ディスプレイに平行な水平軸、又は、仮想オブジェクトを介した水平軸）の周りに回転させるための要求に対応していると判定し、第１の入力が、第２の方向（例えば、ｘ方向、タッチ感知面における水平方向）におけるタッチ感知面にわたる接触の第２の移動を含んでおり、第２の方向における接触の第２の移動が、第２の軸に対して仮想オブジェクトの表現を回転させるための第２の基準を満たしているとの判定であって、第２の基準は、第２の基準が満たされるために、第１の入力が、第２の方向における第２の閾値移動量よりも多くを含むとの要件を含む（例えば、デバイスは、デバイスが、第２の方向において、第２の閾値移動量よりも多くを検出するまで、第２の軸の周りの三次元オブジェクトの回転を開始しない）、判定にしたがって、デバイスは、第１の入力が、三次元オブジェクトを第２の軸（例えば、ディスプレイに平行な垂直軸、又は、仮想オブジェクトを介した垂直軸）の周りに回転させるための要求に対応していると判定し、第１の閾値は、第２の閾値よりも大きい（例えば、ユーザーは、垂直軸の周りの回転をトリガする（例えば、オブジェクトを回転させる）ために水平方向にスワイプするのではなく、水平軸の周りの回転をトリガする（例えば、オブジェクトをユーザーに対して前方又は後方に傾ける）ために、垂直方向に多くの量スワイプする必要がある）。オブジェクトを、閾値量へ拘束された量、回転させるか、又は、オブジェクトを、閾値量よりも多く、回転させるかを判定することは、入力が、第１の軸又は第２の軸の周りにオブジェクトを回転させるための要求であるか否かに依存して、オブジェクトを回転させるための要求に対応する入力に応じて、異なるタイプの回転動作を制御する機能を改善する。表示された追加の制御を用いてユーザーインターフェースを混乱させることなく追加の制御オプションを提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。
【０４８１】
いくつかの実施形態（１８０１０）では、第１の軸に対する仮想三次元オブジェクトの回転は、第１の入力の第１の入力パラメータ（例えば、スワイプ距離、又はスワイプ速度）の特徴値と、第１の軸の周りの仮想三次元オブジェクトへ適用された回転量との間の第１の一致角度で生じ、第２の軸に対する仮想三次元オブジェクトの回転は、第２の入力ジェスチャの第１の入力パラメータ（例えば、スワイプ距離、又はスワイプ速度）の特徴値と、第２の軸の周りの仮想三次元オブジェクトへ適用された回転量との間の第２の一致角度で生じ、第１の一致角度は、第２の一致角度よりも、第１の入力パラメータに対する仮想三次元オブジェクトの、より少ない回転しか含まない（例えば、第１の軸の周りの回転は、第２の軸の周りの回転よりも、高い摩擦又は引っ掛かりを有する）。例えば、仮想オブジェクト１１００２の第１の回転量は、（図１３Ｂ〜図１３Ｃに関して説明されるように、）ｙ軸の周りの回転のための、スワイプ距離ｄ１のスワイプ入力に応じて生じ、第１の回転量よりも少ない、仮想オブジェクト１１００２の第２の回転量は、（図１３Ｅ〜図１３Ｇに関して説明されるように、）ｘ軸の周りの回転のための、スワイプ距離ｄ１のスワイプ入力に応じて生じる。入力に応じて、より多い、又は、より少ない角度回転で、仮想オブジェクトを回転させることは、入力が、第１の軸又は第２の軸の周りにオブジェクトを回転させるための要求であるか否かに依存してオブジェクトを回転させるための要求に対応する入力に応じて、異なるタイプの回転動作を制御する機能を改善する。表示された追加の制御を用いてユーザーインターフェースを混乱させることなく追加の制御オプションを提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。
【０４８２】
いくつかの実施形態では、デバイスは、第１の入力の終了を検出する（例えば、入力は、タッチ感知面上の１つ以上の接触の移動を含み、第１の入力の終了の検出は、タッチ感知面からの１つ以上の接触のリフトオフを検出することを含む）（１８０１２）。第１の入力の終了を検出した後（例えば、検出に応じて）、デバイスは、入力の終了を検出する前に、第１の入力の大きさに基づいて（例えば、接触のリフトオフの直前の、接触の移動の速度に基づいて）、三次元オブジェクトの回転を継続する（１８０１４）。これは、三次元オブジェクトが第１の軸に対して回転しているとの判定にしたがって、第１の軸に対するオブジェクトの回転を、第１の軸に対する三次元オブジェクトの回転の大きさに比例した第１の量、遅くする（例えば、第１の摩擦係数を用いて、擬似的な摩擦のような第１の擬似的な物理的パラメータに基づいて、第１の軸の周りの三次元オブジェクトの回転を遅くする）ことと、三次元オブジェクトが第２の軸に対して回転しているとの判定にしたがって、第２の軸に対するオブジェクトの回転を、第２の軸に対する三次元オブジェクトの回転の大きさに比例した第２の量、遅くする（例えば、第１の摩擦係数よりも小さな第２の摩擦係数を用いて、擬似的な摩擦のような第２の擬似的な物理的パラメータに基づいて、第２の軸の周りの三次元オブジェクトの回転を遅くする）こととを含み、第２の量は、第１の量とは異なる。例えば、図１３Ｃ〜図１３Ｄでは、仮想オブジェクト１１００２は、図１３Ｂ〜図１３Ｃに関して説明されるように、仮想オブジェクト１１００２の回転をもたらした接触１３００２のリフトオフ後、回転を継続する。いくつかの実施形態では、第２の量は、第１の量よりも大きい。いくつかの実施形態では、第２の量は、第１の量未満である。入力の終了の検出後、仮想オブジェクトの回転を、第１の量又は第２の量、遅くすることは、入力が、第１の軸又は第２の軸の周りにオブジェクトを回転させるための要求であるか否かに基づいて、第１の軸及び第２の軸の周りの回転のために、異なる方式で回転動作が仮想オブジェクトへ適用されたことを示す視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、プレーンに対応する第２の向きにおけるオブジェクトの配置前に、ユーザーが適切な入力を提供することと、仮想オブジェクトを操作するために入力を提供する試みを回避することとを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４８３】
いくつかの実施形態では、デバイスは、第１の入力の終了を検出する（例えば、入力は、タッチ感知面における１つ以上の接触の移動を含み、第１の入力の終了を検出することは、タッチ感知面からの１つ以上の接触のリフトオフを検出することを含む）（１８０１６）。第１の入力の終了を検出した後（例えば、検出に応じて）（１８０１８）、三次元オブジェクトが、第１の軸に対して、それぞれの回転閾値を超えて回転したとの判定にしたがって、デバイスは、第１の軸に対する三次元オブジェクトの回転の少なくとも一部を反転させ、三次元オブジェクトが、第１の軸に対して、それぞれの回転閾値を超えて回転していないとの判定にしたがって、デバイスは、第１の軸に対する三次元オブジェクトの回転を反転させることを控える（例えば、第１の軸に対する三次元オブジェクトの回転を停止させる、及び／又は、入力の終了を検出する前、入力の大きさによって判定された大きさ、入力の動きの方向に、第１の軸に対して三次元オブジェクトの回転を継続させる）。例えば、図１３Ｅ〜図１３Ｇを参照して説明されるように、仮想オブジェクト１１００２を、回転閾値を超えて回転させた後、図１３Ｇ〜図１３Ｈによって例示されるように、仮想オブジェクト１１００２の回転が反転される。いくつかの実施形態では、三次元オブジェクトの回転を反転させる量は、三次元オブジェクトがそれぞれの回転閾値をどれくらい超えたのかに基づいて決定される（例えば、三次元オブジェクトの回転は、もしそれぞれの回転閾値を超えて回転した三次元オブジェクトの回転の量がより小さく、もしそれぞれの回転閾値を超えて回転した三次元オブジェクトの回転の量が、第１の軸に対して回転を反転させる小さな量と比べて、より大きいのであれば、第１の軸に対して、より大きな量、反転される）。いくつかの実施形態では、回転の反転は、より大きな力で引っ張る弾性効果のような擬似的な物理パラメータによって駆動され、更に、三次元オブジェクトは、第１の軸に対するそれぞれの回転閾値を超えて回転される。いくつかの実施形態では、回転の反転は、それぞれの回転閾値を超えて回転された、第１の軸に対する回転の方向に基づいて判定された回転の方向にある（例えば、三次元オブジェクトが回転され、オブジェクトの頂部が、ディスプレイ内へ戻ったのであれば、回転の反転は、オブジェクトの頂部を、ディスプレイ外側へ進めて回転させ、オブジェクトの頂部が、ディスプレイ外側へ進められて回転されるように、三次元オブジェクトが回転されたのであれば、回転の反転は、オブジェクトの頂部を、ディスプレイ内へ戻して回転させ、三次元オブジェクトが回転され、オブジェクトの右側が、ディスプレイ内に戻ったのであれば、回転の反転は、ディスプレイ外側へ進むオブジェクトの右側を回転させ、及び／又は、オブジェクトの左側が、ディスプレイ外側へ進められて回転されるように、三次元オブジェクトが回転されたのであれば、回転の反転は、オブジェクトの左側を、ディスプレイ内へ戻して回転させる）。いくつかの実施形態では、例えば、第２の軸に対する回転が、それぞれの角度範囲へ拘束されている場合、第２の軸の周りの回転のために、同様のラバーバンディング（例えば、回転の条件付き反転）が実行される。いくつかの実施形態では、例えば、三次元オブジェクトがデバイスによって３６０度回転することを許可されるように、第２の軸に対する回転が拘束されていない場合、（例えば、デバイスは、第２の軸に対する回転について回転閾値を課さないので）第２の軸の周りの回転のためにラバーバンディングは実行されない。入力の終了を検出した後、第１の軸に関して三次元オブジェクトの回転の少なくとも一部を反転すること、又は、第１の軸に関して三次元オブジェクトの回転の一部を反転することを控えることは、オブジェクトが回転閾値を超えて回転したか否かに依存して、仮想オブジェクトの回転へ適用可能な回転閾値を示す視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが、回転閾値を超えて仮想オブジェクトを回転させるための入力を提供する試みを回避することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４８４】
いくつかの実施形態（１８０２０）では、第１の入力が、三次元オブジェクトを、第１の軸及び第２の軸とは異なる第３の軸（例えば、ｚ軸のような、ディスプレイのプレーン（例えば、ｘ−ｙ面）に垂直な第３の軸）の周りに回転させるための要求に対応するとの判定にしたがって、デバイスは、仮想三次元オブジェクトを第３の軸に対して回転させることを控える（例えば、ｚ軸の周りの回転が禁止され、オブジェクトをｚ軸の周りに回転させるための要求は、デバイスによって無視される）。いくつかの実施形態では、デバイスは、アラート（例えば、入力の失敗を示す触知出力）を提供する。回転入力が、仮想オブジェクトを第３の軸の周りに回転させるための要求に対応しているとの判定にしたがって仮想オブジェクトの回転を控えることは、第３の軸の周りの回転が制限されていることを示す視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが仮想オブジェクトを第３の軸の周りに回転させるための入力を提供する試みを回避することを支援することによって）、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４８５】
いくつかの実施形態では、デバイスは、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）内に、仮想三次元オブジェクトの第１の視点の表現を表示しながら、仮想三次元オブジェクトによって投じられた影の表現を表示する（１８０２２）。デバイスは、第１の軸及び／又は第２の軸に対する仮想三次元オブジェクトの回転にしたがって、影の表現の形状を変化させる。例えば、仮想オブジェクト１１００２の影１３００６の形状は、仮想オブジェクト１１００２が回転すると、図１３Ｂ〜図１３Ｆから変化する。いくつかの実施形態では、仮想オブジェクトの所定の底側をサポートするステージングユーザーインターフェース内に、目に見えない基本プレーンに対する仮想オブジェクトの現在の向きを示すために、影がシフトし、形状を変化させる。いくつかの実施形態では、仮想三次元オブジェクトの表面は、ステージングユーザーインターフェース内に表現される仮想空間における所定の方向に配置された擬似的な光源からの光を反射するように見える。仮想オブジェクトの回転にしたがって影の形状を変化させることは、（例えば、仮想オブジェクトが向けられた仮想的なプレーン（例えば、ステージングビューのステージ）を示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは（例えば、第１の軸又は第２の軸の周りに回転させるためのスワイプ入力のための適切な命令をユーザーが判定することを支援することによって）、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４８６】
いくつかの実施形態では、第１のユーザーインターフェース領域内で、仮想三次元オブジェクトを回転させている間（１８０２４）、仮想三次元オブジェクトの所定の底部を明示する第２の視点とともに、仮想三次元オブジェクトが表示されるとの判定にしたがって、デバイスは、仮想三次元オブジェクトの第２の視点の表現とともに、影の表現の表示を控える。例えば、デバイスは、仮想オブジェクトが（例えば、図１３Ｇ〜図１３Ｉに関して説明されるように、）下方から見られた場合、仮想オブジェクトの影を表示しない。仮想オブジェクトの底部が表示されているとの判定にしたがって、仮想オブジェクトの影の表示を控えることは、（例えば、仮想プレーン（例えば、ステージングビューのステージ）にもはや対応していない位置へオブジェクトが回転したことを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４８７】
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングビュー）内で、仮想三次元オブジェクトを回転させた後、デバイスは、第１のユーザーインターフェース領域における仮想三次元オブジェクトをリセットするための要求に対応する第２の入力を検出する（例えば、第２の入力は、第１のユーザーインターフェース領域における二重タップである）（１８０２６）。第２の入力を検出することに応じて、デバイスは、第１のユーザーインターフェース領域における仮想三次元オブジェクトの所定の元の視点（例えば、第１の視点、又は、第１の視点とは異なるのデフォルトの開始視点（例えば、第１の視点は、ステージングユーザーインターフェース内に、ユーザー操作後に表示される視点である））の表現を（例えば、仮想オブジェクトの回転及びリサイズによって）表示する（例えば、二重タップに応じて、デバイスは、仮想オブジェクトの向きを、所定の元の向き（例えば、ユーザーにプレーンする正面側、所定の基本プレーンにとどまる底面側では直立）へリセットする）（１８０２８）。例えば、図１３Ｉ〜図１３Ｊは、仮想オブジェクト１１００２の視点を、（図１３Ｂ〜図１３Ｇに関して説明される回転入力の結果として）アラートされた視点から、（図１３Ａに図示された視点仮想オブジェクト１１００２と同じである）図１３Ｊにおける元の視点へ変化させる入力を例示する。いくつかの実施形態では、仮想三次元オブジェクトをリセットする命令に対応する第２の入力を検出することに応じて、デバイスはまた、仮想三次元オブジェクトのデフォルト表示サイズを反映させるために、仮想三次元オブジェクトをリサイズする。いくつかの実施形態では、二重タップ入力は、ステージングユーザーインターフェースにおける仮想オブジェクトの向き及びサイズの両方をリセットする一方、二重タップ入力は、サイズのみをリセットするが、拡張現実ユーザーインターフェースにおける仮想オブジェクトの向きをリセットしない。いくつかの実施形態では、デバイスは、拡張現実ユーザーインターフェース内の仮想オブジェクトのサイズをリセットするために、二重タップが、仮想オブジェクトへ向けられることを必要とする一方、デバイスは、二重タップが仮想オブジェクトにおいて検出され、二重タップが仮想オブジェクトの周りで検出されることに応じて、仮想オブジェクトの向き及びサイズをリセットする。拡張現実ビューでは、１本指のスワイプが、（例えば、ステージングビューにおけるものとは異なり）仮想オブジェクトを回転させるのではなく、仮想オブジェクトをドラッグする。仮想オブジェクトをリセットするための要求を検出することに応じて、仮想オブジェクトの所定の元の視点を表示することは、（例えば、オブジェクトの特性を調節するために提供された入力が、所定の元の視点へいつオブジェクトを返すのかを推定することをユーザーへ要求するのではなく、オブジェクトをリセットするためのオプションを提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高める。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４８８】
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）内に仮想三次元オブジェクトを表示している間、デバイスは、仮想三次元オブジェクトをリサイズするための要求に対応する第３の入力を検出する（例えば、第３の入力は、第１のユーザーインターフェース領域上に提示された仮想オブジェクトへ向けられたピンチ又はデピンチジェスチャであり、第３の入力は、リサイズ動作を開始するための基準（例えば、（方法１９０００を参照して以下により詳細に説明されるような）元又は増強された基準）を満たす大きさを有する）（１８０３０）。第３の入力を検出することに応じて、デバイスは、入力の大きさにしたがって、第１のユーザーインターフェース領域における仮想三次元オブジェクトの表現のサイズを調節する（１８０３２）。例えば、（図６Ｎ〜図６Ｏに関して説明されるように、）デピンチジェスチャを含む入力に応じて、仮想オブジェクト１１００２のサイズが減少される。いくつかの実施形態では、仮想三次元オブジェクトの表現のサイズが調節された場合、デバイスは、仮想オブジェクトの現在のズームレベルを示すためのインジケータを表示する。いくつかの実施形態では、デバイスは、第３の入力が終了すると、ズームレベルを示すインジケータの表示を停止する。オブジェクトをリサイズするための入力の大きさにしたがって、仮想オブジェクトのサイズを調節することは、（例えば、オブジェクトを、所望の量、リサイズするためのオプションを提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４８９】
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）における仮想三次元オブジェクトの表現のサイズを調節している間、デバイスは、仮想三次元オブジェクトのサイズが、仮想三次元オブジェクトの所定のデフォルトの表示サイズに達したことを検出する（１８０３４）。仮想三次元オブジェクトのサイズが、仮想三次元オブジェクトの所定のデフォルトの表示サイズに達したことを検出することに応じて、デバイスは、仮想三次元オブジェクトが、所定のデフォルトの表示サイズで表示されていることを示すために触知出力（例えば、ディスクリートな触知出力）を生成する（１８０３６）。図１１Ｏは、仮想オブジェクト１１００２のサイズが、（例えば、図１１Ｍ〜図１１Ｏに関して説明されるように、）仮想オブジェクト１１００２の以前に所定のサイズに達したことを検出することに応じて提供された触知出力１１０２４の例を提供する。いくつかの実施形態では、二重タップ入力に応じて、仮想オブジェクトのサイズが、デフォルトの表示サイズへリセットされた場合、デバイスは、同じ触知出力を生成する。仮想オブジェクトのサイズが、所定のデフォルトの表示サイズに達したとの判定にしたがって触知出力を生成することは、ユーザーに（例えば、仮想オブジェクトの擬似的なされたサイズを、所定のサイズへ戻すために、さらなる入力は必要とされないことを示す）フィードバックを提供する。改善された触覚フィードバックを提供することは、（例えば、表示された情報でユーザーインターフェースを混乱させることなく、仮想オブジェクトの所定の擬似的なされた物理サイズへ到達したことを、ユーザーが知覚することを可能にする、知覚情報を提供することによって、）デバイスの操作性を高める。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４９０】
いくつかの実施形態では、ズームレベル（例えば、現在のズームレベルに対応する値を示すスライダ）を示す視覚的な指示が、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）内に表示される。仮想三次元オブジェクトの表現のサイズが調節されると、ズームレベルを示す視覚的な指示が、仮想三次元オブジェクトの表現の、調節されたサイズにしたがって調節される。
【０４９１】
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）において仮想三次元オブジェクトの第３の視点の表現を表示している間、デバイスは、１つ以上のカメラ（例えば、デバイスに埋め込まれたカメラ）の視野を含む第２のユーザーインターフェース領域（例えば、拡張現実ユーザーインターフェース）内に、仮想三次元オブジェクトを表示することを求める要求に対応する第４の入力を検出する（１８０４２）。第４の入力を検出することに応じて、デバイスは、表示生成コンポーネントによって、第２のユーザーインターフェース領域に含まれる１つ以上のカメラの視野の少なくとも一部の上方に、仮想オブジェクトの表現を表示し（例えば、１つ以上のカメラの視野は、第２のユーザーインターフェース領域において仮想オブジェクトを表示するための要求に応じて表示される）、１つ以上のカメラの視野は、１つ以上のカメラが配置された物理的環境の視野である（１８０４４）。仮想オブジェクトの表現を表示することは、仮想三次元オブジェクトを、第１の軸（例えば、ｘ軸のような水平方向において、ディスプレイのプレーン（例えば、ｘ−ｙ面）に平行な軸）の周りに、所定の角度へ（例えば、０度のようなデフォルトのヨー角度へ、又は、１つ以上のカメラの視野においてキャプチャされた物理的環境において検出されたプレーンに揃えられた角度へ（例えば、平行に））回転させることを含む。いくつかの実施形態では、デバイスは、第１の軸に対して、所定の角度まで徐々に回転させ、第２の軸（例えば、ｙ軸のような垂直方向において、ディスプレイのプレーン（例えば、ｘ−ｙ面）に平行な軸）に対する仮想三次元オブジェクトの現在の角度を維持する三次元オブジェクトのアニメーションを表示する。１つ以上のカメラの視野において仮想オブジェクトを表示するための要求に応じて、仮想オブジェクトを、第１の軸の周りに（例えば、仮想オブジェクトを、プレーンに対して所定の向きへ位置変えするために、さらなる入力を必要とすることなく）所定の角度へ回転させることは、デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４９２】
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）内に、仮想三次元オブジェクトの第４の視点の表現を表示している間、デバイスは、仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースへ戻す要求に対応する第５の入力を検出する（１８０４６）。第５の入力を検出することに応じて、デバイス（１８０４８）は、仮想三次元オブジェクトの二次元表現に対応する仮想三次元オブジェクトの視点を示すために、仮想三次元オブジェクトを（例えば、仮想三次元オブジェクトの二次元表現と、二次元ユーザーインターフェースとを表示する前に）回転させ、仮想三次元オブジェクトの二次元表現に対応するそれぞれの視点を示すために、仮想三次元オブジェクトが回転された後、仮想三次元オブジェクトの二次元表現を表示する。いくつかの実施形態では、デバイスは、仮想三次元オブジェクトの二次元表現に対応する仮想三次元オブジェクトの視点を示すために、徐々に回転する三次元オブジェクトのアニメーションを表示する。いくつかの実施形態では、デバイスはまた、二次元ユーザーインターフェースにおいて表示された仮想三次元オブジェクトの二次元表現のサイズに一致させるために、回転中又は回転後、仮想三次元オブジェクトをリサイズする。いくつかの実施形態では、二次元ユーザーインターフェースにおける二次元表現（例えば、仮想オブジェクトのサムネイル画像）の位置へ向かって移動し、その位置に落ち着く、回転された仮想三次元オブジェクトを示すために、アニメーション化された遷移が表示される。仮想三次元オブジェクトの二次元表現の表示に戻すための入力に応じて、仮想三次元オブジェクトの二次元表現に対応する視点へ仮想三次元オブジェクトを回転させることは、（例えば、表示されたオブジェクトが二次元であることを示すために）フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが、適切な入力を提供することと、二次元オブジェクトを、二次元オブジェクトの回転が利用可能ではない軸に沿って回転させるための入力を提供する試みを回避することとを支援することによって）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４９３】
いくつかの実施形態では、仮想三次元オブジェクトの第１の視点の表現を表示する前に、デバイスは、それぞれの視点からの仮想三次元オブジェクトのビューの表現（例えば、仮想三次元オブジェクトに対応する二次元画像のような静的表現）を含む仮想三次元オブジェクトの表現（例えば、サムネイル又はアイコン）を含むユーザーインターフェースを表示する（１８０５０）。仮想三次元オブジェクトの表現を表示している間、デバイスは、仮想三次元オブジェクト（例えば、仮想三次元オブジェクトの表現に関するタップ入力又は他の選択入力）を表示するための要求を検出する（１８０５２）。仮想三次元オブジェクトを表示するための要求を検出することに応じて、デバイスは、仮想三次元オブジェクトの表現のそれぞれの視点を一致させるために、仮想三次元オブジェクトの表現の表示を、回転された仮想三次元オブジェクトと置き換える（１８０５４）。図１１Ａ〜図１１Ｅは、仮想オブジェクト１１００２の表現を表示するユーザーインターフェース５０６０の例を提供する。仮想オブジェクト１１００２を表示するための要求に応じて、図１１Ａに関して説明されるように、ユーザーインターフェース５０６０のディスプレイは、図１１Ｅに図示されるように、ステージングユーザーインターフェース６０１０における仮想オブジェクト１１００２の表示によって置き換えられる。図１１Ｅにおける仮想オブジェクト１１００２の視点は、図１１Ａにおける仮想オブジェクト１１００２の表現の視点と同じである。いくつかの実施形態では、仮想三次元オブジェクトの表現は、仮想三次元オブジェクトを用いて置き換えられる前に、（例えば、仮想三次元オブジェクトのサイズに一致するサイズへ）スケールアップされる。いくつかの実施形態では、仮想三次元オブジェクトは、先ず、仮想三次元オブジェクトの表現のサイズで表示され、後続して、スケールアップされる。いくつかの実施形態では、仮想三次元オブジェクトの表現から仮想三次元オブジェクトへの遷移中、仮想三次元オブジェクトの表現と、仮想三次元オブジェクトとの間の円滑な遷移を生成するように、デバイスは、仮想三次元オブジェクトの表現を徐々に拡大し、仮想三次元オブジェクトの表現を、仮想三次元オブジェクトを用いてクロスフェードし、その後、仮想三次元オブジェクトを徐々に拡大する。いくつかの実施形態では、仮想三次元オブジェクトの初期場所は、仮想三次元オブジェクトの表現の場所に対応するように選択される。いくつかの実施形態では、仮想三次元オブジェクトの表現は、仮想三次元オブジェクトが表示される場所に対応するように選択された場所へシフトされる。仮想三次元オブジェクトの（二次元）表現の表示を、（二次元）表示の視点に一致するように回転された仮想三次元オブジェクトに置き換えることは、（例えば、三次元オブジェクトが、仮想三次元オブジェクトの二次元表現と同じオブジェクトであることを示すために）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４９４】
いくつかの実施形態では、第１のユーザーインターフェースを表示する前に、デバイスは、仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースを表示する（１８０５６）。仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースを表示している間、デバイスは、仮想三次元オブジェクトの二次元表現に対応するタッチ感知面上の場所において、プレビュー基準を満たす（例えば、プレビュー基準は、押圧入力の強度が第１の強度閾値（例えば、弱い押圧強度閾値）を超えることを必要とする、及び／又は、プレビュー基準は、押圧入力の持続時間が第１の持続時間閾値を超えることを必要とする）タッチ入力（例えば、接触の強度の増加）の第１の部分を検出する（１８０５８）。タッチ入力の第１の部分がプレビュー基準を満たすことを検出することに応じて、デバイスは、仮想三次元オブジェクトの二次元表現よりも大きな仮想三次元オブジェクトのプレビューを表示する（例えば、プレビューは、仮想三次元オブジェクトの異なる視点を示すためにアニメーション化される）（１８０６０）。いくつかの実施形態では、デバイスは、（例えば、入力の持続時間又は圧力に基づいて、又は、あらかじめ決定されたアニメーションの速度に基づいて）徐々に拡大する三次元オブジェクトのアニメーションを表示する。（例えば、現在表示されているユーザーインターフェースの表示を、異なるユーザーインターフェースと置き換えることなく）仮想三次元オブジェクトのプレビューを表示することは、（例えば、ユーザーが、仮想三次元オブジェクトを表示し、ユーザーインターフェース同士の間でのナビゲーションのための入力を提供する必要無しに仮想三次元オブジェクトの二次元表現を見るように戻せるようにすることによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高める。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４９５】
いくつかの実施形態では、仮想三次元オブジェクトのプレビューを表示している間、デバイスは、（例えば、継続的に維持されている同じ接触によって）タッチ入力の第２の部分を検出する（１８０６２）。タッチ入力の第２の部分を検出することに応じて（１８０６４）、タッチ入力の第２の部分がメニュー表示基準を満たす（例えば、メニュー表示基準は、接触が、所定の方向へ、（例えば、上方へ）閾値量よりも多く移動することを必要とする）との判定にしたがって、デバイスは、仮想オブジェクトに関連付けられた複数の動作に対応する複数の選択可能なオプション（例えば、共有メニュー）（例えば、仮想オブジェクトを、別のデバイス又はユーザーと共有する様々な手段のような共有オプション）を表示し、タッチ入力の第２の部分がステージング基準（例えば、ステージング基準は、接触の強度が、第１の閾値強度よりも大きな第２の閾値強度（例えば、深い押圧強度閾値）を超えることを必要とする）を満たすとの判定にしたがって、デバイスは、仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースの表示を、仮想三次元オブジェクトを含む第１のユーザーインターフェースに置き換える。仮想オブジェクトに関連付けられたメニューを表示すること、又は、仮想三次元オブジェクトの二次元表示を含む二次元ユーザーインターフェースの表示を、仮想三次元オブジェクトを含む第１のユーザーインターフェースと置き換えることは、ステージング基準が満たされているか否かに依存して、入力に応じて、多数の異なるタイプの動作の実行を可能にする。第１のタイプの入力を用いて、多数の異なるタイプの動作の実行を可能にすることは、効率を高め、これによって、ユーザーは、これらの操作を実行することができる。これによって、デバイスの操作性を高める。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４９６】
いくつかの実施形態では、第１のユーザーインターフェースが、複数の制御（例えば、ワールドビューへの切り替えのため、戻る等のためのボタン）を含む（１８０６６）。第１のユーザーインターフェースを表示する前に、デバイスは、仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースを表示する（１８０６８）。第１のユーザーインターフェースにおいて、仮想三次元オブジェクト表示するための要求を検出することに応じて、デバイスは（１８０７０）、仮想三次元オブジェクトに関連付けられた１つ以上の制御のセットを表示することなく、第１のユーザーインターフェース内に、仮想三次元オブジェクトを表示し、第１のユーザーインターフェース内に仮想三次元オブジェクトを表示した後、デバイスは、１つ以上の制御のセットを表示する。例えば、図１１Ａ〜図１１Ｅに関して説明されるように、仮想オブジェクト１１００２の二次元表現を含むユーザーインターフェース５０６０のディスプレイは、ステージングユーザーインターフェース６０１０の前に表示される。（図１１Ａに関して説明されるように、）ステージングユーザーインターフェース６０１０内に、仮想オブジェクト１１００２を表示するための要求に応じて、ステージングユーザーインターフェース６０１０の制御６０１６、６０１８、６０２０なしで（図１１Ｂ〜図１１Ｃに図示されるように）仮想オブジェクト１１００２が表示される。図１１Ｄ〜図１１Ｅでは、ステージングユーザーインターフェース６０１０の制御６０１６、６０１８、６０２０が、ユーザーインターフェース内のビューへフェードする。いくつかの実施形態では、１つ以上の制御のセットが、デバイスの１つ以上のカメラの視野において検出されたプレーンに対して固定された位置に仮想三次元オブジェクトが配置されている、拡張現実環境において仮想三次元オブジェクトを表示するための制御を含む。いくつかの実施形態では、第１のユーザーインターフェースにおいて仮想三次元オブジェクトを表示するための要求を検出することに応じて、仮想三次元オブジェクトが、第１のユーザーインターフェース内に表示される準備ができていない（例えば、仮想オブジェクトの三次元モデルが、第１のユーザーインターフェースが表示される準備ができている時に、完全にロードされない）（例えば、仮想オブジェクトのロード時間が、閾値時間よりも長い（例えば、顕著であり、ユーザーに知覚可能である））との判定にしたがって、デバイスは、第１のユーザーインターフェース内に、複数の制御を表示することなく、第１のユーザーインターフェースの一部（例えば、第１のユーザーインターフェースの背景ウィンドウ）を表示し、（例えば、第１のユーザーインターフェースの一部が、制御なしで表示された後）仮想三次元オブジェクトが、第１のユーザーインターフェース内に表示される準備ができているとの判定にしたがって、デバイスは、第１のユーザーインターフェース内に、仮想三次元オブジェクトを表示（例えば、フェードイン）しデバイスは、仮想三次元オブジェクトが第１のユーザーインターフェース内に表示された後、制御を表示（例えば、フェードイン）する。第１のユーザーインターフェース内に、仮想三次元オブジェクトを表示するための要求を検出することに応じて、仮想三次元オブジェクトが表示される準備ができている（例えば、第１のユーザーインターフェースが表示される準備ができている場合、仮想オブジェクトの三次元モデルがロードされた）、（例えば、仮想オブジェクトのロード時間が、閾値時間よりも短い（例えば、無視することができ、ユーザーに知覚可能ではない））との判定にしたがって、デバイスは、第１のユーザーインターフェース上における複数の制御とともに、第１のユーザーインターフェースを表示し、デバイスは、複数の制御を用いて、第１のユーザーインターフェース内に、仮想三次元オブジェクトを表示する（例えば、フェードインしない）。いくつかの実施形態では、（例えば、「戻る」要求に応じて）二次元ユーザーインターフェースへ戻るために、ステージングユーザーインターフェースを出た場合、制御は、仮想三次元オブジェクトが仮想三次元オブジェクトの二次元表現へ変換される前に先ずフェードアウトする。ユーザーインターフェース内に、仮想三次元オブジェクトを表示した後、制御を表示することは、（例えば、仮想オブジェクトを操作するための制御が、仮想オブジェクトをロードするために必要とされる時間長さの間、利用可能ではないことを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、仮想オブジェクトのためのロード時間中、操作動作が利用可能ではない間、ユーザーがオブジェクトを操作するための入力の提供を回避することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０４９７】
図１８Ａ〜図１８Ｉにおける動作が説明された特定の順序は、単なる例であり、説明された順序は、動作が実行され得る唯一の順序であることを示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（方法８００、９００、１０００、１６０００、１７０００、１９０００、及び２００００）に関して本明細書で説明される他の処理の詳細はまた、図１８Ａ〜図１８Ｉに関して上述された方法１８０００と類似の方式で適用可能であることが注目されるべきである。例えば、方法１８０００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、８００、９００、１０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡潔のために、これら詳細は、本明細書では繰り返されない。
【０４９８】
図１９Ａ〜図１９Ｈは、第１の閾値移動大きさが、第１のオブジェクト操作挙動のために満たされているとの判定にしたがって、第２のオブジェクト操作挙動のために必要な第２の閾値移動大きさを増加させる方法１９０００を例示するフロー図である。方法１９０００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）とタッチ感知面（例えば、タッチ感知面、又は、表示生成コンポーネントとタッチ感知面との両方として役立つタッチスクリーンディスプレイ）とを有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００、）において実行される。方法１９０００におけるいくつかの動作は、オプションで、組み合わされるか、及び／又は、いくつかの動作の順序は、オプションで、変更される。
【０４９９】
デバイスは、第１のジェスチャ認識基準（例えば、回転基準）を満たす入力に応じて実行される第１のオブジェクト操作挙動（例えば、それぞれの軸の周りのユーザーインターフェースオブジェクトの回転）と、第２のジェスチャ認識基準（例えば、変換基準とスケーリング基準とのうちの１つ）を満たす入力に応じて実行される第２のオブジェクト操作挙動（例えば、ユーザーインターフェースオブジェクトの変換、又は、ユーザーインターフェースオブジェクトのスケーリングのうちの１つ）とを含む、複数のオブジェクト操作挙動に関連付けられたユーザーインターフェースオブジェクト（例えば、仮想オブジェクトの表現を含むユーザーインターフェース領域）を含む第１のユーザーインターフェース領域を、表示生成コンポーネントを介して表示する（１９００２）。例えば、表示された仮想オブジェクト１１００２は、（例えば、図１４Ｂ〜図１４Ｅに関して説明されるような）それぞれの軸の周りの回転、（例えば、図１４Ｋ〜図１４Ｍに関して説明されるような）変換、及び（図１４Ｇ〜図１４Ｉに関して説明されるような）スケーリングを含む操作挙動に関連付けられる。
【０５００】
第１のユーザーインターフェース領域を表示している間、デバイスは、タッチ感知面にわたる１つ以上の接触の移動を検出することを含むユーザーインターフェースオブジェクトへ向けられた入力の第１の部分を検出し（例えば、デバイスは、ユーザーインターフェースオブジェクトの表示位置に対応するタッチ感知面上の場所における１つ以上の接触を検出し）、１つ以上の接触が、タッチ感知面上で検出されている間、デバイスは、第１のジェスチャ認識基準と第２のジェスチャ認識基準との両方に関する１つ以上の接触の移動を評価する（１９００４）。
【０５０１】
入力の第１の部分を検出することに応じて、デバイスは、入力の第１の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新する。これは、第２のジェスチャ認識基準を満たす前に、入力の第１の部分が第１のジェスチャ認識基準を満たしているとの判定にしたがって、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変化させる（例えば、ユーザーインターフェースオブジェクトを回転させる）ことと、（例えば、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変化せることなく、）第２のジェスチャ認識基準のための閾値を増加させる（例えば、第２のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させる）ことによって、第２のジェスチャ認識基準を更新することとを含む（１９００６）。例えば、図１４Ｅにおいて、仮想オブジェクト１１００２は、（スケーリング基準が満たされる前に）回転基準が満たされているとの判定にしたがって回転され、スケーリング基準のための閾値ＳＴが、ＳＴ'へ増加される。いくつかの実施形態では、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、変換及びスケーリングのための基準は、移動パラメータのための増加された閾値を用いて更新され、）すでに認識され、このオブジェクトを操作するために使用されているジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスされる。この入力が、第１のジェスチャ認識基準を満たす前に、第２のジェスチャ認識基準を満たすとの判定にしたがって、デバイスは、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変化させ（例えば、ユーザーインターフェースオブジェクトを変換するか、又は、ユーザーインターフェースオブジェクトをリサイズし）、（例えば、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変化させることなく）第１のジェスチャ認識基準のための閾値を増加させる（例えば、第１のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させる）ことによって、第１のジェスチャ認識基準を更新する。例えば、図１４Ｉにおいて、仮想オブジェクト１１００２のサイズは、（回転基準が満たされる前に）スケーリング基準が満たされているとの判定にしたがって増加し、回転基準のための閾値ＲＴが、ＲＴ'へ増加され���。いくつかの実施形態では、オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされる前に、（オブジェクトを回転するためのジェスチャを認識するための基準が以前に満たされていないと仮定して、）回転のためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける回転動作を開始することは比較的容易である。オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされると、オブジェクトにおける回転操作を開始することはより困難になり、（例えば、オブジェクトを回転させるための基準は、移動パラメータのための増加された閾値を用いて更新され、）すでに認識され、このオブジェクトを操作するために使用されているジェスチャに対応する操作挙動へ向けて、オブジェクト操作挙動がバイアスされる。いくつかの実施形態では、ユーザーインターフェースオブジェクトの外観は、入力のそれぞれの移動パラメータの値にしたがって（例えば、異なるサイズ、位置、視点、反射、影等を示して）動的及び連続的に変更される。いくつかの実施形態では、デバイスは、移動パラメータ（例えば、各タイプの操作挙動のためのそれぞれの移動パラメータ）と、ユーザーインターフェースオブジェクトの外観に対してなされた変更（例えば、各タイプの操作挙動のための外観のそれぞれの態様）との間でプリセットされた調和（例えば、各タイプの操作挙動のためのそれぞれの調和）に従う。入力された移動が、第２のオブジェクト操作のための第２の閾値を超えて増加した場合、第１のオブジェクト操作のために必要とされる入力移動のための第１の閾値を増加させることは、（例えば、ユーザーが、第１のオブジェクト操作を実行するための入力の提供を試みている間、第２のオブジェクト操作を誤って実行することを回避することを支援することによって）デバイスの操作性を高める。異なるタイプのオブジェクト操作を制御するユーザーの能力を改善することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。
【０５０２】
いくつかの実施形態では、入力の第１の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新した後、デバイスは、（例えば、入力の第１の部分において連続的に維持されている同じ接触、又は、入力の第１の部分における接触の終了（例えば、リフトオフ）後に検出された異なる接触によって）入力の第２の部分を検出する（１９００８）。いくつかの実施形態では、入力の第２の部分は、ユーザーインターフェースオブジェクトへ向けられた連続的に検出された入力に基づいて検出される。入力の第２の部分を検出することに応じて、デバイスは、入力の第２の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新する（１９０１０）。これは、入力の第１の部分が、第１のジェスチャ認識基準を満たし、入力の第２の部分が、更新された第２のジェスチャ認識基準を満たさないとの判定にしたがって、（例えば、入力の第２の部分が、第１のジェスチャ認識基準又は元の第２のジェスチャ認識基準を満たすか否かを考慮することなく、）入力の第２の部分に基づいて（例えば、入力の第２の部分の方向及び／又は大きさに基づいて）、第２のオブジェクト操作挙動にしたがって、（例えば、入力の第２の部分が、更新される前の元の第２のジェスチャ認識基準を満たしていても）ユーザーインターフェースオブジェクトの外観を変更することなく、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、入力の第１の部分が、第２のジェスチャ認識基準を満たし、入力の第２の部分が、更新された第１のジェスチャ認識基準を満たさないとの判定にしたがって、（例えば、入力の第２の部分が、第２のジェスチャ認識基準又は元の第１のジェスチャ認識基準を満たすか否かを考慮することなく、）入力の第２の部分に基づいて（例えば、入力の第２の部分の方向及び／又は大きさに基づいて）、第１のオブジェクト操作挙動にしたがって、（例えば、入力の第２の部分が、更新される前の元の第１のジェスチャ認識を満たしていても）ユーザーインターフェースオブジェクトの外観を変更することなく、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、を含む。
【０５０３】
いくつかの実施形態（１９０１２）では、入力の第１の部分が、第１のジェスチャ認識基準を満たした後、入力の第２の部分に基づいて、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観が変更される一方、入力の第２の部分は、（例えば、閾値が増加される前に、第２のジェスチャ認識基準における入力の移動パラメータに関する元の閾値を用いて、）第２のジェスチャ認識基準が更新される前に、第２のジェスチャ認識基準を満たす入力を含んでいる（例えば、入力の第２の部分は、更新された第２のジェスチャ認識基準を満たす入力を含んでいない）。
【０５０４】
いくつかの実施形態（１９０１４）では、ユーザーインターフェースオブジェクトの外観は、入力の第１の部分が、第２のジェスチャ認識基準を満たした後、入力の第２の部分に基づいて、第２のオブジェクト操作挙動にしたがって変更される一方、入力の第２の部分は、（例えば、閾値が増加される前に、第１のジェスチャ認識基準における入力の移動パラメータのための元の閾値を用いて、）第１のジェスチャ認識基準が更新される前に、第１のジェスチャ認識基準を満たす入力を含む（例えば、入力の第２の部分は、更新された第１のジェスチャ認識基準を満たす入力を含まない）。
【０５０５】
いくつかの実施形態（１９０１６）では、ユーザーインターフェースオブジェクトの外観は、入力の第１の部分が、第１のジェスチャ認識基準を満たした後、入力の第２の部分に基づいて、第１のオブジェクト操作挙動にしたがって変更される一方、入力の第２の部分は、（例えば、第１のジェスチャ認識基準における入力の移動パラメータのための元の閾値を用いた）第１のジェスチャ認識基準を満たす入力を含まない。例えば、第１のジェスチャ認識基準が満たされると、入力は、第１のオブジェクト操作挙動を引き起こすために、もはや第１のジェスチャ認識基準を満たし続ける必要はない。
【０５０６】
いくつかの実施形態（１９０１８）では、ユーザーインターフェースオブジェクトの外観は、入力の第１の部分が、第２のジェスチャ認識基準を満たした後、入力の第２の部分に基づいて、第２のオブジェクト操作挙動にしたがって変更される一方、入力の第２の部分は、（例えば、第２のジェスチャ認識基準における入力の移動パラメータのための元の閾値を用いた）第２のジェスチャ認識基準を満たす入力を含まない。例えば、第２のジェスチャ認識基準が満たされると、入力は、第２のオブジェクト操作挙動を引き起こすために、もはや第２のジェスチャ認識基準を満たし続ける必要はない。入力の第２の部分が、増加された閾値を超えて増加する移動を含む場合に、第１のオブジェクト操作挙動を実行することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、増加された基準を満たすことによって第１のオブジェクト操作を実行した後、第２のオブジェクト操作を意図的に実行する能力をユーザーに提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を改善し、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５０７】
いくつかの実施形態では、入力の第２の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新することは入力の第１の部分が、第２のジェスチャ認識基準を満たし、入力の第２の部分が、更新された第１のジェスチャ認識基準を満たすとの判定にしたがって、入力の第２の部分に基づいて、第１のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更し、入力の第２の部分に基づいて、第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更することと、入力の第１の部分が、第１のジェスチャ認識基準を満たし、入力の第２の部分が、更新された第２のジェスチャ認識基準を満たすとの判定にしたがって、入力の第２の部分に基づいて、第１のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更し、入力の第２の部分に基づいて、第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更することと、を含む（１９０２０）。例えば、第１のジェスチャ認識基準がまず満たされ、その後、入力が更新された第２のジェスチャ認識基準を満たした後、入力は、第１及び第２の両方のオブジェクト操作挙動を引き起こすことができる。例えば、第２のジェスチャ認識基準がまず満たされ、その後、入力が更新された第１のジェスチャ認識基準を満たした後、入力は、第１及び第２の両方のオブジェクト操作挙動を引き起こすことができる。第２のジェスチャ認識基準及び更新された第１のジェスチャ認識基準が満たされた後に検出された入力の一部に応じて、第１のオブジェクト操作挙動及び第２のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、増加された閾値を満たした後、第１のオブジェクト操作及び第２のオブジェクト操作を使用して、オブジェクトを自由に操作する能力を、ユーザーへ提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５０８】
いくつかの実施形態では、入力の第２の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新した後（例えば、第１のジェスチャ認識基準と更新された第２のジェスチャ認識基準との両方が満たされた後、又は、第２のジェスチャ認識基準と更新された第１のジェスチャ認識基準との両方が満たされた後）、デバイスは、（例えば、入力の第１及び第２の部分において連続的に維持されている同じ接触によって、又は、入力の第１の部分及び第２の部分の接触の終了（例えば、リフトオフ）後に検出された異なる接触によって）入力の第３の部分を検出する（１９０２２）。入力の第３の部分を検出することに応じて、デバイスは、入力の第３の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新する（１９０２４）。これは、入力の第３の部分に基づいて、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、入力の第３の部分に基づいて、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することとを含む。例えば、第１のジェスチャ認識基準と更新された第２のジェスチャ認識基準との両方が満たされた後、又は、第２のジェスチャ認識基準と更新された第１のジェスチャ認識基準との両方が満たされた後、入力は、元の又は更新された第１及び第２のジェスチャ認識基準の閾値を考慮せずに、後続して、第１及び第２のオブジェクト操作挙動をともに引き起こすことができる。第２のジェスチャ認識基準及び更新された第１のジェスチャ認識基準が満たされた後に検出された入力の一部に応じて、第１のオブジェクト操作挙動及び第２のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、増加された閾値を満たすことによって、第１のオブジェクト操作タイプを実行する意図を確証した後、第１のオブジェクト操作及び第２のオブジェクト操作を使用して、オブジェクトを自由に操作する能力を、ユーザーへ提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５０９】
いくつかの実施形態（１９０２６）では、入力の第３の部分は、第１のジェスチャ認識基準を満たす入力、又は、第２のジェスチャ認識基準を満たす入力を含まない。例えば、第１のジェスチャ認識基準と更新された第２のジェスチャ認識基準との両方が満たされた後、又は、第２のジェスチャ認識基準と更新された第１のジェスチャ認識基準との両方が満たされた後、入力は、元の又は更新された第１及び第２のジェスチャ認識基準の閾値を考慮せずに、後続して、第１及び第２のオブジェクト操作挙動をともに引き起こすことができる。第２のジェスチャ認識基準及び更新された第１のジェスチャ認識基準が満たされた後に検出された入力の一部に応じて、第１のオブジェクト操作挙動及び第２のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、高められた基準を満たした後、第１のオブジェクト操作及び第２のオブジェクト操作を使用して、オブジェクトを自由に操作する能力を、ユーザーへ提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５１０】
いくつかの実施形態では、複数のオブジェクト操作挙動が、第３のジェスチャ認識基準（例えば、スケーリング基準）を満たす入力に応じて実行される第３のオブジェクト操作挙動（例えば、ユーザーインターフェースオブジェクトの、それぞれの軸の周りの回転）を含む（１９０２８）。入力の第１の部分に基づいてユーザーインターフェースオブジェクトの外観を更新することは、第２のジェスチャ認識基準を満たす前に、又は、第３のジェスチャ認識基準を満たす前に、入力の第１の部分が、第１のジェスチャ認識基準を満たすとの判定にしたがって、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更する（例えば、ユーザーインターフェースオブジェクトを回転させる）ことと、（例えば、第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変化させることなく）第２のジェスチャ認識基準のための閾値を増加させること（例えば、第２のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって第２のジェスチャ認識基準を更新することとを含む（１９０３０）。例えば、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、移動パラメータのための増加された閾値を用いて、変換及びスケーリングのための基準が更新され、）すでに認識され、このオブジェクトを操作するために使用されるジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスされる。デバイスは、第３のジェスチャ認識基準のための閾値を増加させる（例えば、第３のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させる）ことによって、第３のジェスチャ認識基準を更新する。例えば、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、移動パラメータのための増加された閾値を用いて、変換及びスケーリングのための基準が更新され、）すでに認識され、このオブジェクトを操作するために使用されるジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスさせる。第１のジェスチャ認識基準を満たす前に、又は、第３のジェスチャ基準を満たす前に、入力が、第２のジェスチャ認識基準を満たすとの判定にしたがって、デバイスは、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更（例えば、ユーザーインターフェースオブジェクトを変換、又は、ユーザーインターフェースオブジェクトをリサイズ）し、（例えば、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を更新することなく）第１のジェスチャ認識基準のための閾値を増加させること（例えば、第１のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって、第１のジェスチャ認識基準を更新する。例えば、オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされる前に、（オブジェクトを回転させるためのジェスチャを認識するための基準が以前に満たされていないと仮定して、）回転のためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける回転動作を開始することは比較的容易である。オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされると、オブジェクトにおける回転動作を開始することはより困難になり、（例えば、オブジェクトを回転させるための基準は、移動パラメータのための増加された閾値を用いて更新され、）すでに認識され、このオブジェクトを操作するために使用されているジェスチャに対応する操作挙動へ向けて、オブジェクト操作挙動がバイアスされる。いくつかの実施形態では、ユーザーインターフェースオブジェクトの外観は、入力のそれぞれの移動パラメータの値にしたがって（例えば、異なるサイズ、位置、視点、反射、影等を示して）動的及び連続的に変更される。いくつかの実施形態では、デバイスは、移動パラメータ（例えば、操作挙動の各タイプのためのそれぞれの移動パラメータ）と、ユーザーインターフェースオブジェクトの外観に対してなされた変更（例えば、操作挙動の各タイプのための外観のそれぞれの態様）との間であらかじめ設定された調和（例えば、操作挙動の各タイプのためのそれぞれの調和）に従う。デバイスは、第３のジェスチャ認識基準のための閾値を増加させること（例えば、第３のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって、第３のジェスチャ認識基準を更新する。例えば、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、移動パラメータのための増加された閾値を用いて、変換及びスケーリングのための基準が更新され、）すでに認識され、このオブジェクトを操作するために使用されるジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスされる。第１のジェスチャ認識基準を満たす前に、又は、第２のジェスチャ基準を満たす前に、入力が、第３のジェスチャ認識基準を満たすとの判定にしたがって、デバイスは、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）第３のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更（例えば、ユーザーインターフェースオブジェクトをリサイズ）し、（例えば、第１のオブジェクト操作挙動及び第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を更新することなく、）デバイスは、第１のジェスチャ認識基準のための閾値を増加させること（例えば、第１のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって、第１のジェスチャ認識基準を更新する。例えば、オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされる前に、（オブジェクトを回転させるためのジェスチャを認識するための基準が以前に満たされていないと仮定して、）回転のためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける回転動作を開始することは比較的容易である。オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされると、オブジェクトにおける回転動作を開始することはより困難になり、（例えば、オブジェクトを回転させるための基準は、移動パラメータのための増加された閾値を用いて更新され、）すでに認識され、このオブジェクトを操作するために使用されているジェスチャに対応する操作挙動へ向けて、オブジェクト操作挙動がバイアスされる。いくつかの実施形態では、ユーザーインターフェースオブジェクトの外観は、入力のそれぞれの移動パラメータの値にしたがって（例えば、異なるサイズ、位置、視点、反射、影等を示して）動的及び連続的に変更される。いくつかの実施形態では、デバイスは、移動パラメータ（例えば、操作挙動の各タイプのためのそれぞれの移動パラメータ）と、ユーザーインターフェースオブジェクトの外観に対してなされた変更（例えば、操作挙動の各タイプのための外観のそれぞれの態様）との間であらかじめ設定された調和（例えば、操作挙動の各タイプのためのそれぞれの調和）に従う。デバイスは、第２のジェスチャ認識基準のための閾値を増加させること（例えば、第２のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって第２のジェスチャ認識基準を更新する。例えば、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、移動パラメータのための増加された閾値を用いて、変換及びスケーリングのための基準が更新され、）すでに認識され、このオブジェクトを操作するために使用されるジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスさせる。対応する第３のジェスチャ認識基準が満たされた場合にのみ、検出された入力の一部に応じて、第３のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、第１のオブジェクト操作又は第２のオブジェクト操作を実行するための入力の提供を試みている間に、ユーザーが誤って第３のオブジェクト操作を実行することを回避することを支援することによって）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５１１】
いくつかの実施形態では、複数のオブジェクト操作挙動は、第３のジェスチャ認識基準を満たす入力に応じて実行される第３のオブジェクト操作挙動を含み（１９０３２）、第１のジェスチャ認識基準又は第２のジェスチャ認識基準を満たす前に、入力の第１の部分は、第３のジェスチャ認識基準を満たしておらず、入力の第１の部分が、第１のジェスチャ認識基準又は第２のジェスチャ認識基準を満たした後、デバイスは、第３のジェスチャ認識基準のための閾値を増加させることによって、第３のジェスチャ認識基準を更新し、入力の第２の部分は、更新された第１のジェスチャ認識基準又は更新された第２のジェスチャ認識基準を満たす前に、更新された第３のジェスチャ認識基準を満たしていない（例えば、デバイスは、入力の第１の部分が、第１又は第２のジェスチャ認識基準のうちの１つを満たした後、第３のジェスチャ認識基準のための閾値を増加させることによって、第３のジェスチャ認識基準を更新した）。入力の第３の部分を検出することに応じて（１９０３４）、（例えば、入力の第３の部分が、（例えば、更新された、又は、元の）第１又は第２のジェスチャ認識基準を満たしているか否かを考慮することなく、）更新された第３のジェスチャ認識基準を満たすとの判定にしたがって、デバイスは、（例えば、（例えば、たとえ入力の第３の部分が元の第１及び第２のジェスチャ認識基準を満たさなくても）第１及び第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更しながら）入力の第３の部分に基づいて（例えば、入力の第３の部分の方向及び／又は大きさに基づいて）、第３のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を更新する。入力の第３の部分が、更新された第３のジェスチャ認識基準を満たさないとの判定にしたがって、デバイスは、（例えば、（例えば、たとえ入力の第３の部分が元の第１及び第２のジェスチャ認識基準を満たさなくても）第１及び第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更しながら）入力の第３の部分に基づいて、第３のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することを控える。第２のジェスチャ認識基準、更新された第１のジェスチャ認識基準、及び、更新された第３のジェスチャ認識基準が満たされた後に検出された入力の一部に応じて、第１のオブジェクト操作挙動、第２のオブジェクト操作挙動、及び第３のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、増加された閾値を満たすことによって、第１、第２、及び第３の３つすべてのオブジェクト操作タイプを実行する意図を確立した後、ユーザーへ、第１、第２、及び第３のオブジェクト操作タイプを使用して、オブジェクトを自由に操作する能力をユーザーへ提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５１２】
いくつかの実施形態（１９０３６）では、入力の第３の部分は、更新された第３のジェスチャ認識基準を満たした。入力の第３の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新した後（例えば、第１のジェスチャ認識基準、及び、更新された第２及び第３のジェスチャ認識基準の両方が満たされた後、又は、第２のジェスチャ認識基準、及び、更新された第１及び第３のジェスチャ認識基準の両方が満たされた後）、デバイスは、（例えば、入力の第１、第２、及び第３の部分において連続的に維持されている同じ接触によって、又は、入力の第１の部分、第２及び第３の部分における接触の終了（例えば、リフトオフ）後に検出された異なる接触によって、）入力の第４の部分を検出する（１９０３８）。入力の第４の部分を検出することに応じて、デバイスは、入力の第４の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新する（１９０４０）。これは、入力の第４の部分に基づいて、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、入力の第４の部分に基づいて、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、入力の第４の部分に基づいて、第３のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、を含む。例えば、第１のジェスチャ認識基準、及び、更新された第２及び第３のジェスチャ認識基準が満たされた後、又は、第２のジェスチャ認識基準、及び、更新された第１及び第３のジェスチャ認識基準が満たされた後、入力は、元の又は更新された第１、第２、及び第３のジェスチャ認識基準における閾値を考慮することなく、後続して、３つすべてのタイプの操作挙動を引き起こし得る。
【０５１３】
いくつかの実施形態では、入力の第４の部分は第１のジェスチャ認識基準を満たす入力、第２のジェスチャ認識基準を満たす入力、又は、第３のジェスチャ認識基準を満たす入力を含まない（１９０４２）。例えば、第１のジェスチャ認識基準、及び、更新された第２及び第３のジェスチャ認識基準が満たされた後、又は、第２のジェスチャ認識基準、及び、更新された第１及び第３のジェスチャ認識基準が満たされた後、入力は、元の又は更新された第１、第２、及び第３のジェスチャ認識基準における閾値を考慮することなく、後続して、３つすべてのタイプの操作挙動を引き起こし得る。ジェスチャのために同時に検出される接触数を必要とすることは、（例えば、必要とされる同時検出される接触数未満の入力を提供している間、ユーザーが誤ってオブジェクト操作を実行することを回避することを支援することによって）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５１４】
いくつかの実施形態（１９０４４）では、第１のジェスチャ認識基準及び第２のジェスチャ認識基準（及び第３のジェスチャ認識基準）はともに、満たされるために、同時に検出される第１の接触数（例えば、２つの接触）を必要とする。いくつかの実施形態では、変換のために、１本指ジェスチャもまた使用され得、１本指変換閾値は、２本指変換閾値よりも低い。いくつかの実施形態では、２本指変換ジェスチャのために設定された元の及び更新された移動閾値は、接触の重心によるそれぞれ４０ポイント及び７０ポイントの移動である。いくつかの実施形態では、２本指回転ジェスチャのために設定された元の及び更新された移動閾値は、それぞれ接触による１２度及び１８度の回転移動である。いくつかの実施形態では、２本指スケーリングジェスチャのために設定された元の及び更新された移動閾値は、それぞれ５０ポイント（接触間距離）及び９０ポイントである。いくつかの実施形態では、１本指ドラッグジェスチャのために設定された閾値は３０ポイントである。
【０５１５】
いくつかの実施形態（１９０４６）では、第１のオブジェクト操作挙動は、ユーザーインターフェースオブジェクトのズームレベル又は表示サイズを変更し（例えば、（例えば、ピンチジェスチャが、（例えば、元の又は更新された）第１のジェスチャ認識基準に基づいて認識された後に、互いに向かう接触の移動のような）ピンチジェスチャによってオブジェクトをリサイズし）、第２のオブジェクト操作挙動が、ユーザーインターフェースオブジェクトの回転角度を変化させる（例えば、（例えば、ツイスト／旋回ジェスチャが（例えば、元の又は更新された）第２のジェスチャ認識基準によって認識された後、例えば共通の地点の周りの接触の移動のような）ツイスト／旋回ジェスチャによって外部又は内部軸の周りのユーザーインターフェースオブジェクトのビューイング視点を変化させる）。例えば、第１のオブジェクト操作挙動は、図１４Ｇ〜図１４Ｉに関して説明されるように、仮想オブジェクト１１００２の表示サイズを変更し、第２のオブジェクト操作挙動は、図１４Ｂ〜図１４Ｅに関して説明されるように、仮想オブジェクト１１００２の回転角度を変化させる。いくつかの実施形態では、第２のオブジェクト操作挙動は、ユーザーインターフェースオブジェクトのズームレベル又は表示サイズを変更し（例えば、（例えば、ピンチジェスチャが、（例えば、元の又は更新された）第２のジェスチャ認識基準に基づいて認識された後に、互いに向かう接触の移動のような）ピンチジェスチャによってオブジェクトをリサイズし）、第１のオブジェクト操作挙動が、ユーザーインターフェースオブジェクトの回転角度を変化させる（例えば、（例えば、ツイスト／旋回ジェスチャが（例えば、元の又は更新された）第１のジェスチャ認識基準によって認識された後の、例えば共通の地点の周りの接触の移動のような）ツイスト／旋回ジェスチャによって外部又は内部軸の周りのユーザーインターフェースオブジェクトのビューイング視点を変化させる）。
【０５１６】
いくつかの実施形態（１９０４８）では、第１のオブジェクト操作挙動は、ユーザーインターフェースオブジェクトのズームレベル又は表示サイズを変更し（例えば、（例えば、ピンチジェスチャが、（例えば、元の又は更新された）第１のジェスチャ認識基準に基づいて認識された後に、互いに向かう接触の移動のような）ピンチジェスチャによってオブジェクトをリサイズし）、第２のオブジェクト操作挙動が、第１のユーザーインターフェース領域におけるユーザーインターフェースオブジェクトの位置を変化させる（例えば、（例えば、ドラッグジェスチャが（例えば、元の又は更新された）第２のジェスチャ認識基準によって認識された後、例えばそれぞれの方向における接触の移動のような）１本指又は２本指のドラッグジェスチャによってユーザーインターフェースオブジェクトをドラッグする）。例えば、第１のオブジェクト操作挙動は、図１４Ｇ〜図１４Ｉに関して説明されるように、仮想オブジェクト１１００２の表示サイズを変更し、第２のオブジェクト操作挙動は、図１４Ｂ〜図１４Ｅに関して説明されるように、ユーザーインターフェースにおける仮想オブジェクト１１００２の位置を変化させる。いくつかの実施形態では、第２のオブジェクト操作挙動は、ユーザーインターフェースオブジェクトのズームレベル又は表示サイズを変更し（例えば、（例えば、ピンチジェスチャが、（例えば、元の又は更新された）第２のジェスチャ認識基準に基づいて認識された後に、互いに向かう接触の移動のような）ピンチジェスチャによってオブジェクトをリサイズし）、第１のオブジェクト操作挙動が、第１のユーザーインターフェース領域におけるユーザーインターフェースオブジェクトの位置を変化させる（例えば、（例えば、ドラッグジェスチャが（例えば、元の又は更新された）第１のジェスチャ認識基準によって認識された後、例えばそれぞれの方向における接触の移動のような）１本指又は２本指のドラッグジェスチャによってユーザーインターフェースオブジェクトをドラッグする）。
【０５１７】
いくつかの実施形態（１９０５０）では、第１のオブジェクト操作挙動は、第１のユーザーインターフェース領域におけるユーザーインターフェースオブジェクトの位置を変更し（例えば、（例えば、ドラッグジェスチャが（例えば、元の又は更新された）第１のジェスチャ認識基準によって認識された後の、例えばそれぞれの方向における接触の移動のような）１本指又は２本指のドラッグジェスチャによってオブジェクトをドラッグし）、第２のオブジェクト操作挙動が、ユーザーインターフェースオブジェクトの回転角度を変化させる（例えば、（例えば、ツイスト／旋回ジェスチャが（例えば、元の又は更新された）第２のジェスチャ認識基準によって認識された後、例えば共通の地点の周りの接触の移動のような）ツイスト／旋回ジェスチャによって外部又は内部軸の周りのユーザーインターフェースオブジェクトのビューイング視点を変化させる）。例えば、第１のオブジェクト操作挙動は、図１４Ｂ〜図１４Ｅに関して説明されるように、ユーザーインターフェースにおける仮想オブジェクト１１００２の位置を変更し、第２のオブジェクト操作挙動は、図１４Ｂ〜図１４Ｅに関して説明されるように、仮想オブジェクト１１００２の回転角度を変化させる。いくつかの実施形態では、第２のオブジェクト操作挙動が、第１のユーザーインターフェース領域におけるユーザーインターフェースオブジェクトの位置を変化させ（例えば、（例えば、ドラッグジェスチャが（例えば、元の又は更新された）第２のジェスチャ認識基準によって認識された後、例えばそれぞれの方向における接触の移動のような）１本指又は２本指のドラッグジェスチャによってオブジェクトをドラッグし）、第１のオブジェクト操作挙動が、ユーザーインターフェースオブジェクトの回転角度を変化させる（例えば、（例えば、ツイスト／旋回ジェスチャが（例えば、元の又は更新された）第１のジェスチャ認識基準によって認識された後、例えば共通の地点の周りの接触の移動のような）ツイスト／旋回ジェスチャによって外部又は内部軸の周りのユーザーインターフェースオブジェクトのビューイング視点を変化させる）。
【０５１８】
いくつかの実施形態（１９０５２）では、入力の第１の部分及び入力の第２の部分が、複数の連続して維持された接触によって提供される。デバイスは、複数の連続的に維持された接触のリフトオフを検出した後、追加の第１及び第２のオブジェクト操作挙動を開始するために、（例えば、元の閾値を備えた）第１のジェスチャ認識基準及び第２のジェスチャ認識基準を再確立する（１９０５４）。例えば、接触のリフトオフの後、デバイスは、新たに検出されたタッチ入力のための回転、変換、及びスケーリングのためのジェスチャ認識閾値を再確立する。入力が、接触のリフトオフによって終了された後、入力移動のための閾値を再確立することは、（例えば、新たな入力が提供される毎に、増加された移動閾値を再設定することによって、オブジェクト操作を実行するために必要とされる入力の程度を低減することによって）デバイスの操作性を高める。操作を実行するために必要とされる入力の程度を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５１９】
いくつかの実施形態（１９０５６）では、第１のジェスチャ認識基準は、第１の軸の周りの回転に対応し、第２のジェスチャ認識基準は、第１の軸に直交する第２の軸の周りの回転に対応する。いくつかの実施形態では、異なるタイプのジェスチャのための閾値を更新する代わりに、更新することはまた、（例えば、ツイスト／旋回ジェスチャのような）認識されたジェスチャタイプに対応する操作挙動のタイプ内の（例えば、第１の軸の周りの回転と、異なる軸の周りの回転のような）操作挙動の異なるサブタイプのために設定された閾値に当てはまる。例えば、第１の軸の周りの回転が認識され実行されると、異なる軸の周りの回転の閾値セットが更新され（例えば、増加され）、異なる軸の周りの回転をトリガするために、後続する入力によって超えられる必要がある。入力移動が、第２の軸の周りにオブジェクトを回転させるために必要な入力移動のための閾値を超えて増加した場合、第１の軸の周りにオブジェクトを回転させるために必要な入力移動のための閾値を増加させることは、（例えば、第１の軸の周りにオブジェクトを回転させることを試みている間に、ユーザーが誤って第２の軸の周りにオブジェクトを回転させることを回避することを支援することによって）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５２０】
図１９Ａ〜図１９Ｈにおける動作が説明された特定の順序は、単なる例であり、説明された順序は、動作が実行され得る唯一の順序であることを示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１７０００、１８０００、２００００）に関して本明細書で説明された他の処理の詳細はまた、図１９Ａ〜図１９Ｈに関して上述された方法１９０００に類似する方式でも適用可能であることが注目されるべきである。例えば、方法１９０００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１７０００、１８０００、２００００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡略のために、これら詳細は、本明細書において繰り返されない。
【０５２１】
図２０Ａ〜図２０Ｆは、デバイスの移動が、仮想オブジェクトを、１つ以上のデバイスカメラの表示される視野の外側へ移動させるとの判定にしたがって、音声警報を生成する方法２００００を例示するフロー図である。方法２００００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）と、１つ以上の入力デバイス（例えば、タッチ感知面、又は、表示生成コンポーネントとタッチ感知面との両方として役立つタッチスクリーンディスプレイ）と、１つ以上の音声出力生成器と、１つ以上のカメラとを有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００）において実行される。方法２００００におけるいくつかの動作は、オプションで、組み合わされ、及び／又は、いくつかの動作の順序は、オプションで、変更される。
【０５２２】
デバイスは（例えば、カメラを含むデバイスの周りの物理的環境の拡張現実ビューに仮想オブジェクトを配置するための要求に応じて（例えば、仮想オブジェクトのステージングビューを用いて表示された「ワールド」ボタン上のタップに応じて））、表示生成コンポーネントによって、１つ以上のカメラの視野の表現を含む仮想オブジェクトの表現を、第１のユーザーインターフェース領域内に表示し（例えば、第１のユーザーインターフェース領域は、カメラを含むデバイスを囲む物理的環境の、拡張現実ビューを表示するユーザーインターフェースである）、この表示することは、仮想オブジェクトの表現と、１つ以上のカメラの視野においてキャプチャされた物理的環境において検出されたプレーンとの間の第１の空間的な関係を維持することを含む（例えば、仮想オブジェクトは、仮想オブジェクトの表現とプレーンとの間の固定された角度が維持されるように、ディスプレイ上に、向き及び位置とともに表示される（例えば、仮想オブジェクトは、プレーン上の固定された場所にとどまる、又は、視野面に沿って回転するように見える）（２０００２）。例えば、図１５Ｖに図示されるように、仮想オブジェクト１１００２は、１つ以上のカメラの視野６０３６を含むユーザーインターフェース領域において表示される。
【０５２３】
デバイスは、１つ以上のカメラの視野を調節するデバイスの移動（例えば、１つ以上のカメラを含むデバイスの横移動及び／又は回転）を検出する（２０００４）。例えば、図１５Ｖ〜図１５Ｗに関して説明されるように、デバイス１００の移動は、１つ以上のカメラの視野を調節する。
【０５２４】
１つ以上のカメラの視野を調節するデバイスの移動を検出することに応じて（２０００６）、１つ以上のカメラの視野が調節されると、デバイスは、仮想オブジェクトと、１つ以上のカメラの視野内で検出されたプレーンとの間の第１の空間的な関係（例えば、向き及び／又は位置）にしたがって、第１のユーザーインターフェース領域において、仮想オブジェクトの表現の表示を調節し、（例えば、仮想オブジェクトの表現と、１つ以上のカメラの視野においてキャプチャされた物理的環境内で検出されたプレーンとの間の空間的な関係が、デバイスの移動中、物理的環境に対して固定され続けるので、）デバイスの移動が、閾値量（例えば、１００％、５０％、又は２０％）より多くの仮想オブジェクトを、１つ以上のカメラの視野の表示部分の外側へ移動させるとの判定にしたがって、デバイスは、１つ以上の音声出力生成器によって、第１の音声警報（例えば、閾値量より多くの仮想オブジェクトが、カメラビューにはもはや表示されないことを示す音声アナウンスメント）を生成する。例えば、図１５Ｗに関して説明されるように、仮想オブジェクト１１００２を、１つ以上のカメラの視野６０３６の表示部分の外側へ移動させるデバイス１００の移動に応じて、音声警報１５１１８が生成される。デバイスの移動が、仮想オブジェクトを、表示された拡張現実ビューの外側へ移動させるとの判定にしたがって音声出力を生成することは、デバイスの移動が、拡張現実ビューに関して、仮想オブジェクトの表示に対して影響を与えた程度を示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、仮想オブジェクトがディスプレイを離れたか否かをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５２５】
いくつかの実施形態では、第１の音声警報を出力することは、１つ以上のカメラの視野の表示された部分において見えるままである仮想オブジェクトの量（例えば、見えるままである仮想オブジェクトの量は、現在のビューイング視点からの仮想オブジェクトの合計サイズに対して測定される（例えば、２０％、２５％、５０％等））（例えば、音声出力は、「オブジェクトｘは、２０％見えています」と言う）を示す音声出力を生成することを含む（２０００８）。例えば、図１５Ｘ〜図１５Ｙに関して説明されるように、仮想オブジェクト１１００２を、１つ以上のカメラの視野６０３６の表示部分の外側に部分的に移動させるデバイス１００の移動に応じて、「椅子は９０％見え、スクリーンの２０％を占有しています」を示すアナウンスメント１５１２８を含む音声警報１５１２６が生成される。表示された拡張現実ビューにおいて見える仮想オブジェクトの量を示す音声出力を生成することは、（例えば、デバイスの移動が変化した程度と、仮想オブジェクトが見える度合とを示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、仮想オブジェクトがディスプレイを離れたか否かをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５２６】
いくつかの実施形態では、第１の音声警報を出力することは、仮想オブジェクトによって閉じ込められた視野の表示部分の量（例えば、仮想オブジェクトによって占有されている物理的環境の拡張現実ビューの量（例えば、２０％、２５％、５０％等））（例えば、音声出力は、「ワールドビューの１５％を占有するオブジェクトｘ」と言うアナウンスメントを含む）を示す音声出力を生成することを含む（２００１０）。いくつかの実施形態では、音声出力はまた、仮想オブジェクトの表示状態における変化を引き起こした、ユーザーによって実行されるアクションの説明を含む。例えば、音声出力は、「デバイスが左に移動しました。オブジェクトｘは２０％見え、ワールドビューの１５％を占有しています。」と言うアナウンスメントを含む。例えば、図１５Ｙでは、「椅子は９０パーセント見え、スクリーンの２０パーセントを占有しています」を示すアナウンスメント１５１２８を含む音声警報１５１２６が生成される。仮想オブジェクトによって閉じ込められた拡張現実ビューの量を示す音声出力を生成することは、（例えば、デバイスの移動が、拡張現実ビューが閉じ込まれている度合いを変化させた程度を示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、ディスプレイに対する仮想オブジェクトのサイズをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５２７】
いくつかの実施形態では、デバイスは、１つ以上のカメラの視野の表現に対応するタッチ感知面上の場所における接触による入力を検出する（例えば、物理的環境の拡張現実ビューを表示するタッチスクリーンの一部におけるタップ入力又は二重タップ入力を検出する）（２００１２）。この入力を検出することに応じて、また、仮想オブジェクトによって占有されていない１つ以上のカメラの視野の第１の部分に対応するタッチ感知面上の第１の場所において入力が検出されたとの判定にしたがって、デバイスは、第２の音声警報（例えば、タップされた領域における仮想オブジェクトの位置決めの失敗を示すクリック又は機械音）を生成する（２００１４）。例えば、図１５Ｚに関して説明されるように、仮想オブジェクト１１００２によって占有されていない１つ以上のカメラの視野６０３６の一部に対応するタッチスクリーン１１２上の場所において検出された入力に応じて、デバイスは、音声警報１５１３０を生成する。いくつかの実施形態では、入力を検出することに応じて、仮想オブジェクトによって占有されている１つ以上のカメラの視野の第２の部分に対応する第２の場所において入力が検出されたとの判定にしたがって、第２の音声警報を生成することを控える。いくつかの実施形態では、仮想オブジェクトの位置決めのユーザーの失敗を示す第２の音声警報を生成する代わりに、デバイスは、ユーザーが仮想オブジェクトを位置決めしたことを示す異なる音声警報を生成する。いくつかの実施形態では、第２の音声警報を生成する代わりに、デバイスは、仮想オブジェクトにおいて実行される動作（例えば、「オブジェクトｘが選択されました。」、「オブジェクトｘは、デフォルトサイズへリサイズされました」、「オブジェクトｘは、デフォルトの向きへ回転されました」等）、又は仮想オブジェクトの状態（例えば、「オブジェクトｘ、２０％見え、ワールドビューの１５％を占有しています。）を説明するオーディオアナウンスメントを出力する。仮想オブジェクトによって占有されない表示された拡張現実ビューの一部に対応する場所において入力が検出されることに応じて音声出力を生成することは、（例えば、（例えば、仮想オブジェクトに関する情報を取得するため、及び／又は、操作を実行するため）異なる場所において提供されねばならない入力を示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、入力が成功裡に仮想オブジェクトへ接続したか否かをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５２８】
いくつかの実施形態では、第１の音声警報を出力することは、仮想オブジェクトに関して実行された動作を示す音声出力を生成し（例えば、音声出力を生成する前に、デバイスは、現在選択されている動作を判定し、現在選択されている操作を実行するとのユーザーの意思を確認する入力（例えば、二重タップ）に応じて、操作を実行する）、動作の実行後に、結果として得られる仮想オブジェクトの状態を生成することを含む（２００１６）。例えば、音声出力は、「デバイスは左へ移動しました。オブジェクトｘは２０％見え、ワールドビューの１５％を占有しています」、「オブジェクトｘは、３０度、時計回りに回転され、オブジェクトは、ｙ軸の周りに５０度回転されました」、又は、「オブジェクトｘは２０％拡大され、ワールドビューの５０％を占有しています」と言うアナウンスメントを含む。例えば、図１５ＡＨ〜図１５ＡＩに関して説明されるように、仮想オブジェクト１１００２に関する回転動作の実行に応じて、「椅子が反時計周りに５度回転されました。椅子は今、スクリーンに対してゼロ度回転されました」を示すアナウンスメント１５１９２を含む音声警報１５１９０が生成される。仮想オブジェクトにおいて実行された動作を示す音声出力を生成することは、提供された入力が仮想オブジェクトへどのように影響を与えるのかを示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、動作がどのようにして仮想オブジェクトを変えたのかをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５２９】
いくつかの実施形態（２００１８）では、動作の実行後、結果として得られる仮想オブジェクトの状態は１つ以上のカメラの視野にキャプチャされた物理的環境に対応する基準フレームに対する第１の音声警報において出力されたオーディオに説明されている（例えば、オブジェクトを操作した後（例えば、接触ベースのジェスチャ又はデバイスの移動に応じて）、デバイスは、（例えば、物理的環境の拡張現実ビューへ最初に配置された場合、仮想オブジェクトの最初の位置／向きに対して、３０度回転された、６０度回転された、又は左へ移動したような）オブジェクトの新たな状態を説明する音声を生成する）。例えば、図１５ＡＨ〜図１５ＡＩに関して説明されるように、仮想オブジェクト１１００２に対する回転動作のパフォーマンスに応じて、「椅子は反時計回りに５度回転されました。椅子は今、スクリーンに対してゼロ度回転されました。」を示すアナウンスメント１５１９２を含む音声警報１５１９０が生成される。いくつかの実施形態では、この動作は、（例えば、１つ以上のカメラの視野においてキャプチャされた物理的環境の一部の表現に対する仮想オブジェクトの移動を引き起こす）物理的環境に対するデバイスの移動と、物理的環境に対するデバイスの移動に応じた仮想オブジェクトの新たな状態を説明する音声とを含む。オブジェクトに対して動作が実行された後、仮想オブジェクトの状態を示す音声出力を生成することは、動作がどのように仮想オブジェクトを変えたのかをユーザーに感知させることを可能にするフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、動作がどのように仮想オブジェクトを変えたのかをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５３０】
いくつかの実施形態では、デバイスは、第１の音声警報の生成後、１つ以上のカメラの視野を更に調節するデバイスの追加の移動（例えば、１つ以上のカメラを含むデバイスの横移動及び／又は回転）を検出する（２００２０）。例えば、図１５Ｗ〜図１５Ｘに関して説明されるように、デバイス１００の移動は更に、（１５Ｖ〜１５Ｗからのデバイス１００の移動に応じて生じる１つ以上のカメラの視野の調節にしたがって）１つ以上のカメラの視野を更に調節する。１つ以上のカメラ（２００２２）の視野を更に調節するデバイスの追加の移動を検出することに応じて、デバイスは、１つ以上のカメラの視野が更に調節されると、仮想オブジェクトと、１つ以上のカメラの視野内で検出されたプレーンとの間の第１の空間的な関係（例えば、向き及び／又は位置）にしたがって、第１のユーザーインターフェース領域における仮想オブジェクトの表現の表示を調節し、（例えば、仮想オブジェクトの表現と、１つ以上のカメラの視野内でキャプチャされた物理的環境内で検出されたプレーンとの間の空間的な関係は、物理的環境に対するデバイスの移動中、固定されたままであるので、）デバイスの追加の移動が、仮想オブジェクトの第２の閾値より多い量（例えば、５０％、８０％、又は１００％）を、１つ以上のカメラの視野の表示された部分内に移動させるとの判定にしたがって、デバイスは、１つ以上の音声出力生成器によって、第３の音声警報（例えば、仮想オブジェクトの閾値より多い量が、カメラ視野へ戻されることを示すアナウンスメントを含む音声出力）を生成する。例えば、図１５Ｘに関して説明されるように、仮想オブジェクト１１００２を、１つ以上のカメラの視野６０３６の表示された部分へ移動させるデバイス１００の移動に応じて、（例えば、「椅子が今、ワールドに投影されており、１００％見え、スクリーンの１０パーセントを占有しています」と言うアナウンスメントを含む）音声警報１５１２２が生成される。デバイスの移動が、仮想オブジェクトを、表示された拡張現実ビューへ移動させるとの判定にしたがって、音声出力を生成することは、デバイスの移動が、拡張現実ビューに関して、仮想オブジェクトの表示に対して影響を与えた程度を示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、仮想オブジェクトがディスプレイの中へ移動したか否かをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５３１】
いくつかの実施形態では、第１のユーザーインターフェース領域における仮想オブジェクトと、仮想オブジェクトへ適用可能な複数のオブジェクト操作タイプのうちの第１のオブジェクト操作タイプとの表現が、仮想オブジェクトのために現在選択されていることを表示している間、デバイスは、仮想オブジェクトへ適用可能な別のオブジェクト操作タイプへ切り換える要求を検出する（例えば、１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所における接触（例えば、水平方向における接触の移動を含む）によるスワイプ入力を検出する）（２００２４）。例えば、図１５ＡＧに関して説明されるように、時計回りの回転制御１５１７０が現在選択されている一方、（仮想オブジェクト１５１６０を反時計回りに回転させるために）反時計回り回転制御１５１８０へ切り換えるためのスワイプ入力が選択される。仮想オブジェクトへ適用可能な別のオブジェクト操作タイプへ切り換えるための要求を検出することに応じて、デバイスは、仮想オブジェクトへ適用可能な複数のオブジェクト操作タイプの中から、第２のオブジェクト操作タイプを命名する音声出力（例えば、音声出力は、「オブジェクトをｘ軸の周りに回転させて下さい」、「オブジェクトをリサイズして下さい」、又は「プレーン上でオブジェクトを移動させて下さい」等と言うアナウンスメントを含む）を生成し、第２のオブジェクト操作タイプは、第１のオブジェクト操作タイプとは異なる（２００２６）。例えば、図１５ＡＨにおいて、図１５ＡＧに関して説明された要求の検出に応じて、アナウンスメント１５１８４（「選択されました：反時計回りに回転させて下さい」）を含む音声警報１５１８２が生成される。いくつかの実施形態では、デバイスは、同じ方向における連続したスワイプ入力に応じて、所定の適用可能なオブジェクト操作タイプのリストを反復する。いくつかの実施形態では、直前のスワイプ入力から逆方向におけるスワイプ入力を検出することに応じて、デバイスは、仮想オブジェクトへ提供可能な、以前にアナウンスされたオブジェクト操作タイプ（例えば、最後にアナウンスされたオブジェクト操作タイプの前のもの）を命名するアナウンスメントを含む音声出力を生成する。いくつかの実施形態では、デバイスは、仮想オブジェクトへ適用可能な各オブジェクト操作タイプのための対応する制御を表示しない（例えば、ジェスチャによって開始される動作（例えば、回転、リサイズ、変換等）のために表示されたボタン又は制御は存在しない）。オブジェクト操作タイプを切り換える要求に応じて音声出力を生成することは、切換動作が実行されたことを示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、切換入力が成功裡に実行されたことを確認する情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５３２】
いくつかの実施形態では、仮想オブジェクトへ適用可能な複数のオブジェクト操作タイプの中から、第２のオブジェクト操作タイプを命名する音声出力（例えば、音声出力は、「オブジェクトをｘ軸の周りに回転させて下さい」、「オブジェクトをリサイズして下さい」、又は「プレーン上でオブジェクトを移動させて下さい」等と言うアナウンスメントを含む）を生成した後（２００２８）、デバイスは、現在選択されているオブジェクト操作タイプに対応するオブジェクト操作挙動を実行するための要求を検出する（例えば、１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所における接触による二重タップ入力を検出する）。例えば、図１５ＡＨに関して説明されるように、仮想オブジェクト１１００２を反時計回りに回転させるための二重タップ入力が検出される。現在選択されているオブジェクト操作タイプに対応するオブジェクト操作挙動を実行するための要求を検出することに応じて、デバイスは、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行する（例えば、仮想オブジェクトをｙ軸の周りに５度回転させる、又は、オブジェクトのサイズを５％増加させる、又は、オブジェクトをプレーン上で２０画素移動させる）、（例えば、第２のオブジェクト操作タイプにしたがって第１のユーザーインターフェース領域における仮想オブジェクトの表現の表示を調節する）（２００３０）。例えば、図１５ＡＩにおいて、１５ＡＨに関して説明された要求の検出に応じて、仮想オブジェクト１１００２が、反時計回りに回転される。いくつかの実施形態では、デバイスは、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行することに加えて、仮想オブジェクトに関して実行されたオブジェクト操作挙動と、オブジェクト操作挙動の実行後、結果として得られる仮想オブジェクトの状態とを示すアナウンスメントを含む音声出力を出力する。例えば、図１５ＡＩにおいて、アナウンスメント１５１９２（「椅子が５度反時計回りに回転しました。椅子は今、スクリーンに対してゼロ度回転されました。」）を含む音声出力１５１９０が生成される。動作が選択されている間に検出された入力に応じてオブジェクト操作動作を実行することは、操作を実行するための追加の制御オプションを提供する（例えば、ユーザーが、２接触入力を必要とするのではなく、タップ入力を提供することによって操作を実行することを可能にする）。表示された追加制御でユーザーインターフェースを乱すことなく、入力を提供するための追加の制御オプションを提供することは、（例えば、マルチコンタクトジェスチャへ提供するための制限された能力を有するユーザーへ、オブジェクトを操作するためのオプションを提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５３３】
いくつかの実施形態では、仮想オブジェクトへ適用可能な別のオブジェクト操作タイプへ切り換えるための要求を検出することに応じて（２００３２）、第２のオブジェクト操作タイプが連続的に調節可能な操作タイプであるとの判定にしたがって、デバイスは、第２のオブジェクト操作タイプが連続的に調節可能な操作タイプであることを示すために、第２のオブジェクト操作タイプを命名する音声出力と連携して音声警報を生成し（例えば、第２のオブジェクト操作タイプを命名するオーディオアナウンスメント（例えば、オブジェクトをｙ軸の周りに時計回りに回転させて下さい）の後、「調節可能」と言う音声出力を出力し）、デバイスは、（例えば、１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所における接触によって二重タップ入力を検出した後、）１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所におけるスワイプ入力を検出することを含む、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行するための要求を検出し、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行するための要求を検出することに応じて、デバイスは、スワイプ入力の大きさに対応する量、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行する（例えば、スワイプ入力の大きさが、第１の量であるか、第１の量よりも大きい第２の量であるかに依存して、仮想オブジェクトをｙ軸の周りに５度又は１０度回転させるか、又は、オブジェクトのサイズを、５％又は１０％増加させるか、又は、オブジェクトをプレーン上で２０画素又は４０画素移動させる）。例えば、図１５Ｊ〜図１５Ｋに関して説明されるように、時計回りの回転制御１５０３８が現在選択されている間、ズーム制御１５０６４へ切り換えるスワイプ入力が検出される。アナウンスメント１５０６８（「スケール：調節可能」）を含む音声警報１５０６６が生成される。図１５Ｋ〜図１５Ｌに関して説明されるように、仮想オブジェクト１１００２へズームインするためのスワイプ入力が検出され、この入力に応じて、仮想オブジェクト１１００２に対してズーム動作が実行される（図１５Ｋ〜図１５Ｌの例示的な例では、ステージングビューインターフェース６０１０が表示されている間、連続的に調節可能な操作のための入力が検出されるが、１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所において類似の入力が検出され得ることが認識されるであろう）。いくつかの実施形態では、デバイスは、第２のオブジェクト操作挙動を実行することに加えて、仮想オブジェクトに関して実行されたオブジェクト操作挙動の量と、その量までのオブジェクト操作挙動の実行後、結果として得られる仮想オブジェクトの状態とを示すオーディオアナウンスメントを出力する。スワイプ入力に応じてオブジェクト操作動作を実行することは、動作を実行するための追加の制御オプションを提供する（例えば、２接触入力を必要とするのではなく、スワイプ入力を提供することによって、ユーザーが操作を実行することを可能にする）。表示された追加の制御でユーザーインターフェースを乱すことなく、入力を提供するための追加の制御オプションを提供することは、（例えば、マルチコンタクトジェスチャを提供する制限された能力を有するユーザーへ、オブジェクトを操作するためのオプションを提供することによって、）ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５３４】
いくつかの実施形態では、第１のユーザーインターフェース領域において仮想オブジェクトの表現を表示する前に、デバイスは、第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）において仮想オブジェクトの表現を表示し、第２のユーザーインターフェース領域は、１つ以上のカメラの視野の表現を含んでいない（例えば、第２のユーザーインターフェース領域は、カメラの視野においてキャプチャされた物理的環境において検出されたプレーンに対する固定された関係を維持することなく、仮想オブジェクトが操作（例えば、回転、リサイズ、及び移動）され得るステージングユーザーインターフェースである）（２００３４）。第２のユーザーインターフェース領域における仮想オブジェクトと、仮想オブジェクトへ適用可能な複数の動作のうちの第１の動作との表現が、仮想オブジェクトのために現在選択されていることを表示している間、デバイスは、（例えば、第２のユーザーインターフェース領域における仮想オブジェクトへ適用可能なオブジェクト操作タイプ（例えば、リサイズ、回転、傾斜等）へ、又は、第２のユーザーインターフェース領域における仮想オブジェクトへ適用可能なユーザーインターフェース動作（例えば、２Ｄユーザーインターフェースへ戻る、物理的環境における拡張現実ビューへオブジェクトをドロップする）へ切り換える要求を含む）仮想オブジェクトへ適用可能な別の動作へ切り換える要求を検出する（例えば、第１のユーザーインターフェース領域に対応するタッチ感知面上の場所における接触（例えば、水平方向における接触の移動を含む）によるスワイプ入力を検出することを含む要求を検出すること）（２００３６）。例えば、図１５Ｆ〜図１５Ｇに関して説明されるように、ステージングユーザーインターフェース６０１０が表示され、チルトダウン制御１５０２２が現在選択されている間、時計回り制御１５０３８へ切り換えるためのスワイプ入力が検出される。第２のユーザーインターフェース領域において仮想オブジェクトへ適用可能な別の動作へ切り換える要求を検出することに応じて、デバイスは、仮想オブジェクトへ適用可能な複数の動作のうち第２の動作を命名する音声出力を生成し（例えば、音声出力は、「ｘ軸の周りにオブジェクトを回転させて下さい」、「オブジェクトをリサイズして下さい」、「ディスプレイへ向けてオブジェクトを傾けて下さい」、又は「拡張現実ビューでオブジェクトを表示して下さい」等）と言うアナウンスメントを含む）、第２の動作は、第１の動作とは異なる（２００３８）。いくつかの実施形態では、デバイスは、同じ方向における連続したスワイプ入力に応じて、所定の適用可能な動作のリストを反復する。例えば、図１５Ｇでは、図１５Ｆに関して説明された要求の検出に応じて、アナウンスメント１５０４２（「選択されました：時計回り回転ボタン」）を含む音声警報１５０４０が生成される。操作タイプを切り換える要求に応じて、選択された操作タイプを命名する音声出力を生成することは、切換入力が成功裡に受信されたことを示すフィードバックをユーザーへ提供する。操作タイプを切り換える要求に応じて、選択された動作タイプを命名する音声出力を生成することは、切換入力が成功裡に受信されたことを示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、選択された制御が変更された場合をユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５３５】
いくつかの実施形態では、第１のユーザーインターフェース領域において仮想オブジェクトの表現を表示する前に（２００４０）、１つ以上のカメラの視野の表現を含まない第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）（例えば、第２のユーザーインターフェース領域は、物理的環境におけるプレーンに対して固定された関係を維持することなく、仮想オブジェクトが操作（例えば、回転、リサイズ、及び移動）され得るステージングユーザーインターフェース領域である）において仮想オブジェクトの表現を表示している間、デバイスは、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域における仮想オブジェクトの表現を表示するための要求を検出する（例えば、現在選択されている動作が「拡張現実ビューにおいてオブジェクトを表示して下さい」である場合、及び、デバイスが、（例えば、二重タップ入力の直前に受信された）スワイプ入力に応じて、現在選択されている動作を命名するオーディオアナウンスメントを丁度出力した後、二重タップ入力を検出する）。例えば、図１５Ｐ〜図１５Ｖに関して説明されるように、ステージングユーザーインターフェース６０１０が表示され、トグル制御６０１８が選択されている間、１つ以上のカメラの視野６０３６の表現を含むユーザーインターフェース領域へ、仮想オブジェクト１１００２の表現を表示するために二重タップ入力が検出される。１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内で、仮想オブジェクトの表現を表示するための要求を検出することに応じて、デバイスは、仮想オブジェクトの表現と、１つ以上のカメラの視野においてキャプチャされた物理的環境内で検出されたプレーンとの間の第１の空間的な関係にしたがって、第１のユーザーインターフェース領域内に、仮想オブジェクトの表現を表示し（例えば、仮想オブジェクトが、拡張現実ビューにおいて表現された物理的環境へドロップされた場合、ステージングビューにおける仮想オブジェクトの回転角度及びサイズが、拡張現実ビューにおいて維持され、視野においてキャプチャされた物理的環境において検出されたプレーンの向きにしたがって、拡張現実ビューにおける傾斜角度がリセットされる）、デバイスは、仮想オブジェクトが、１つ以上のカメラの視野においてキャプチャされた物理的環境に関して拡張現実ビューに配置されたことを示す第４の音声警報を生成する。例えば、図１５Ｖに関して説明されるように、１つ以上のカメラの視野６０３６の表現を含むユーザーインターフェース領域内に、仮想オブジェクト１１００２の表現を表示するための入力に応じて、仮想オブジェクト１１００２の表現が、１つ以上のカメラの視野６０３６を含むユーザーインターフェース領域内に表示され、アナウンスメント１５１１６（「椅子は今、ワールドに投影され、１００パーセント見え、スクリーンの１０パーセントを占有しています」）を含む音声警報１５１１４が生成される。拡張現実ビューにオブジェクトを配置するための要求に応じて音声出力を生成することは、仮想オブジェクトを配置する動作が成功裡に実行されたことを示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、拡張現実ビューにオブジェクトが表示されたことをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５３６】
いくつかの実施形態では、第３の音声警報は、１つ以上のカメラの視野の一部に対する仮想オブジェクトの外観についての情報を示す（例えば、第３の音声警報は、「オブジェクトｘはワールドに配置され、オブジェクトｘは３０％見え、スクリーンの９０％を占有しています。」と言うアナウンスメントを含む音声出力を含む。）（２００４２）。例えば、図１５Ｖに関して説明されるように、アナウンスメント１５１１６（「椅子は今、ワールドに投影され、１００パーセント見え、スクリーンの１０％を占有しています」）を含む音声警報１５１１４が生成される。表示された拡張現実ビューに対して見える仮想オブジェクトの外観を示す音声出力を生成することは、（例えば、拡張現実ビューにおけるオブジェクトの配置が仮想オブジェクトの外観へ影響を与えた程度を示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、拡張現実ビューにおいて、オブジェクトが、どのように表示されているのかをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５３７】
いくつかの実施形態では、デバイスは、１つ以上のカメラの視野においてキャプチャされた物理的環境に関して拡張現実ビューにおける仮想オブジェクトの配置と連携して触知出力を生成する（２００４４）。例えば、オブジェクトが、カメラの視野内で検出されたプレーンに配置された場合、デバイスは、プレーン上へのオブジェクトのランディングを示す触知出力を生成する。いくつかの実施形態では、デバイスは、オブジェクトが、オブジェクトのリサイズ中に、所定のデフォルトサイズに達した場合に、触知出力を生成する。いくつかの実施形態では、デバイスは、仮想オブジェクトに関して実行される各動作のために（例えば、事前設定された角度量までの各回転のために、異なるプレーン上へ仮想オブジェクトをドラッグするために、オブジェクトを元の向き及び／又はサイズへリセットする等のために）触知出力を生成する。いくつかの実施形態では、これら触知出力は、実行された動作を説明する対応する音声警報と、仮想オブジェクトの結果状態とに先行する。例えば、図１５Ｖに関して説明されるように、触知出力１５１１８は、１つ以上のカメラの視野６０３６における仮想オブジェクト１１００２の配置と連携して生成される。１つ以上のカメラによってキャプチャされた物理的環境に対する仮想オブジェクトの配置と連携して触知出力を生成することは、（例えば、仮想オブジェクトを配置する動作が成功裡に実行されたことを示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された情報でユーザーインターフェースを乱すことなく、仮想オブジェクトの配置がなされたことをユーザーが感知することを可能にするセンサ情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５３８】
いくつかの実施形態では、デバイスは、１つ以上のカメラの視野の表現と同時に（例えば、第１のユーザーインターフェース領域内の異なる場所において表示された複数の制御のうち）第１の制御を、第１のユーザーインターフェース領域内の第１の場所において表示する（２００４６）。制御フェージング基準が満たされている（例えば、タッチ入力がタッチ感知面において検出されることなく、第１のユーザーインターフェース領域が、少なくとも閾値時間表示された場合に、制御フェージング基準が満たされている）との判定にしたがって、デバイスは、第１のユーザーインターフェース領域内に、１つ以上のカメラの視野の表現の表示を維持しながら、第１のユーザーインターフェース領域内に、（例えば、第１のユーザーインターフェース領域内に、他のすべての制御とともに）第１の制御を表示することを停止する（例えば、ユーザーが物理的環境に対してデバイスを移動させた場合、制御は再表示されない）（２００４８）。第１のユーザーインターフェース領域内に第１の制御を表示することなく、第１のユーザーインターフェース領域を表示している間、デバイスは、第１のユーザーインターフェース領域内の第１の場所に対応するタッチ感知面上のそれぞれの場所においてタッチ入力を検出する（２００５０）。タッチ入力の検出に応じて、デバイスは、第１の制御（例えば、「ステージングビューへ戻る」又は「オブジェクトをｙ軸の周りに回転させる」）に対応する動作を指定する音声出力を含む第５の音声警報を生成する（２００５２）。いくつかの実施形態では、デバイスはまた、タッチ入力を検出することに応じて、第１の場所において、第１の制御を再表示する。いくつかの実施形態では、ディスプレイ上の制御の通常の場所においてタッチ入力がなされると、制御を再表示し、制御を、現在選択されている制御にすることは、ユーザーがディスプレイ上の制御の場所を認識すると、制御にアクセスするために、一連のスワイプ入力を使用して利用可能な制御をスキャンするよりも、より迅速な手法を提供する。制御フェージング基準が満たされていることを判定することに応じて、制御を表示することを自動的に停止することは、制御の表示を停止するために必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【０５３９】
図２０Ａ〜図２０Ｆにおける動作が説明されている特定の順序は単なる例であり、説明された順序は、動作が実行され得る唯一の順序を示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１７０００、１８０００、及び２００００）に関して本明細書で説明された他の処理の詳細はまた、図２０Ａ〜図２０Ｆに関して上述された方法２００００へ類似した方式でも適用可能であることが理解されるべきである。例えば、方法２００００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１７０００、１８０００、及び１９０００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡潔のために、これら詳細は、本明細書では繰り返されない。
【０５４０】
図８Ａ〜図８Ｅ、図９Ａ〜図９Ｄ、図１０Ａ〜図１０Ｄ、図１６Ａ〜図１６Ｇ、図１７Ａ〜図１７Ｄ、図１８Ａ〜図１８Ｉ、図１９Ａ〜図１９Ｈ、及び図２０Ａ〜図２０Ｆを参照して上述された動作は、オプションで、図１Ａ〜図１Ｂに図示されたコンポーネントによって実施される。例えば、表示動作８０２、８０６、９０２、９０６、９１０、１００４、１００８、１６００４、１７００４、１８００２、１９００２、及び２０００２、検出動作８０４、９０４、９０８、１７００６、１８００４、１９００４、及び２０００４、変更動作９１０、受信動作１００２、１００６、１６００２、及び１７００２、停止動作１７００８、回転動作１８００６、更新動作１９００６、調節動作２０００６、及び生成動作２０００６は、オプションで、イベントソータ１７０、イベントレコグナイザ１８０、イベントハンドラ１９０によって実施される。イベントソータ１７０におけるイベントモニタ１７１は、タッチ感知ディスプレイ１１２上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６−１へ伝達する。アプリケーション１３６−１のそれぞれのイベントレコグナイザ１８０は、イベント情報を、それぞれのイベント定義１８６と比較し、タッチ感知面上の第１の場所における第１の接触（又は、デバイスの回転）が、ユーザーインターフェース上のオブジェクトの選択、又は、１つの向きから別の向きへのデバイスの回転のような所定のイベント又はサブイベントに対応するか否かを判定する。所定のそれぞれのイベント又はサブイベントが検出された場合、イベントレコグナイザ１８０は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ１９０を活性化する。イベントハンドラ１９０は、オプションで、アプリケーション内部状態１９２を更新するために、データ更新部１７６又はオブジェクト更新部１７７を使用するか、又は呼び出す。いくつかの実施形態では、イベントハンドラ１９０は、アプリケーションによって表示されているものを更新するために、それぞれのＧＵＩ更新部１７８へアクセスする。同様に、他の処理が、図１Ａ〜図１Ｂに描写されたコンポーネントに基づいてどのようにして実施され得るかが当業者に明らかになるだろう。
【０５４１】
前述した説明は、説明の目的のために、特定の実施形態に関して説明されている。しかしながら、上記の例示的な議論は、網羅的であるとも、又は、開示された正確な形態に本発明を限定するとも意図されていない。上記の教示を考慮して、多くの修正及び変形が可能である。実施形態は、本発明の原理及びその実際のアプリケーションを最も良く説明するために、そしてこれによって、当業者が、本発明及び説明された様々な実施形態を、考慮される特定の用途へ適合されているような様々な修正を用いて、最も良く使用することを可能にするために、選択され説明された。
【図１Ａ】
2019128941.tif 000003
【図１Ｂ】
2019128941.tif 000004
【図１Ｃ】
2019128941.tif 000005
【図２】
2019128941.tif 000006
【図３】
2019128941.tif 000007
【図４Ａ】
2019128941.tif 000008
【図４Ｂ】
2019128941.tif 000009
【図４Ｃ】
2019128941.tif 000010
【図４Ｄ】
2019128941.tif 000011
【図４Ｅ】
2019128941.tif 000012
【図４Ｆ】
2019128941.tif 000013
【図４Ｇ】
2019128941.tif 000014
【図４Ｈ】
2019128941.tif 000015
【図４Ｉ】
2019128941.tif 000016
【図４Ｊ】
2019128941.tif 000017
【図４Ｋ】
2019128941.tif 000018
【図５Ａ】
2019128941.tif 000019
【図５Ｂ】
2019128941.tif 000020
【図５Ｃ】
2019128941.tif 000021
【図５Ｄ】
2019128941.tif 000022
【図５Ｅ】
2019128941.tif 000023
【図５Ｆ】
2019128941.tif 000024
【図５Ｇ】
2019128941.tif 000025
【図５Ｈ】
2019128941.tif 000026
【図５Ｉ】
2019128941.tif 000027
【図５Ｊ】
2019128941.tif 000028
【図５Ｋ】
2019128941.tif 000029
【図５Ｌ】
2019128941.tif 000030
【図５Ｍ】
2019128941.tif 000031
【図５Ｎ】
2019128941.tif 000032
【図５Ｏ】
2019128941.tif 000033
【図５Ｐ】
2019128941.tif 000034
【図５Ｑ】
2019128941.tif 000035
【図５Ｒ】
2019128941.tif 000036
【図５Ｓ】
2019128941.tif 000037
【図５Ｔ】
2019128941.tif 000038
【図５Ｕ】
2019128941.tif 000039
【図５Ｖ】
2019128941.tif 000040
【図５Ｗ】
2019128941.tif 000041
【図５Ｘ】
2019128941.tif 000042
【図５Ｙ】
2019128941.tif 000043
【図５Ｚ】
2019128941.tif 000044
【図５ＡＡ】
2019128941.tif 000045
【図５ＡＢ】
2019128941.tif 000046
【図５ＡＣ】
2019128941.tif 000047
【図５ＡＤ】
2019128941.tif 000048
【図５ＡＥ】
2019128941.tif 000049
【図５ＡＦ】
2019128941.tif 000050
【図５ＡＧ】
2019128941.tif 000051
【図５ＡＨ】
2019128941.tif 000052
【図５ＡＩ】
2019128941.tif 000053
【図５ＡＪ】
2019128941.tif 000054
【図５ＡＫ】
2019128941.tif 000055
【図５ＡＬ】
2019128941.tif 000056
【図５ＡＭ】
2019128941.tif 000057
【図５ＡＮ】
2019128941.tif 000058
【図５ＡＯ】
2019128941.tif 000059
【図５ＡＰ】
2019128941.tif 000060
【図５ＡＱ】
2019128941.tif 000061
【図５ＡＲ】
2019128941.tif 000062
【図５ＡＳ】
2019128941.tif 000063
【図５ＡＴ】
2019128941.tif 000064
【図６Ａ】
2019128941.tif 000065
【図６Ｂ】
2019128941.tif 000066
【図６Ｃ】
2019128941.tif 000067
【図６Ｄ】
2019128941.tif 000068
【図６Ｅ】
2019128941.tif 000069
【図６Ｆ】
2019128941.tif 000070
【図６Ｇ】
2019128941.tif 000071
【図６Ｈ】
2019128941.tif 000072
【図６Ｉ】
2019128941.tif 000073
【図６Ｊ】
2019128941.tif 000074
【図６Ｋ】
2019128941.tif 000075
【図６Ｌ】
2019128941.tif 000076
【図６Ｍ】
2019128941.tif 000077
【図６Ｎ】
2019128941.tif 000078
【図６Ｏ】
2019128941.tif 000079
【図６Ｐ】
2019128941.tif 000080
【図６Ｑ】
2019128941.tif 000081
【図６Ｒ】
2019128941.tif 000082
【図６Ｓ】
2019128941.tif 000083
【図６Ｔ】
2019128941.tif 000084
【図６Ｕ】
2019128941.tif 000085
【図６Ｖ】
2019128941.tif 000086
【図６Ｗ】
2019128941.tif 000087
【図６Ｘ】
2019128941.tif 000088
【図６Ｙ】
2019128941.tif 000089
【図６Ｚ】
2019128941.tif 000090
【図６ＡＡ】
2019128941.tif 000091
【図６ＡＢ】
2019128941.tif 000092
【図６ＡＣ】
2019128941.tif 000093
【図６ＡＤ】
2019128941.tif 000094
【図６ＡＥ】
2019128941.tif 000095
【図６ＡＦ】
2019128941.tif 000096
【図６ＡＧ】
2019128941.tif 000097
【図６ＡＨ】
2019128941.tif 000098
【図６ＡＩ】
2019128941.tif 000099
【図６ＡＪ】
2019128941.tif 000100
【図７Ａ】
2019128941.tif 000101
【図７Ｂ】
2019128941.tif 000102
【図７Ｃ】
2019128941.tif 000103
【図７Ｄ】
2019128941.tif 000104
【図７Ｅ】
2019128941.tif 000105
【図７Ｆ１】
2019128941.tif 000106
【図７Ｆ２】
2019128941.tif 000107
【図７Ｇ１】
2019128941.tif 000108
【図７Ｇ２】
2019128941.tif 000109
【図７Ｈ】
2019128941.tif 000110
【図７Ｉ】
2019128941.tif 000111
【図７Ｊ】
2019128941.tif 000112
【図７Ｋ】
2019128941.tif 000113
【図７Ｌ】
2019128941.tif 000114
【図７Ｍ】
2019128941.tif 000115
【図７Ｎ】
2019128941.tif 000116
【図７Ｏ】
2019128941.tif 000117
【図７Ｐ】
2019128941.tif 000118
【図８Ａ】
2019128941.tif 000119
【図８Ｂ】
2019128941.tif 000120
【図８Ｃ】
2019128941.tif 000121
【図８Ｄ】
2019128941.tif 000122
【図８Ｅ】
2019128941.tif 000123
【図９Ａ】
2019128941.tif 000124
【図９Ｂ】
2019128941.tif 000125
【図９Ｃ】
2019128941.tif 000126
【図９Ｄ】
2019128941.tif 000127
【図１０Ａ】
2019128941.tif 000128
【図１０Ｂ】
2019128941.tif 000129
【図１０Ｃ】
2019128941.tif 000130
【図１０Ｄ】
2019128941.tif 000131
【図１１Ａ】
2019128941.tif 000132
【図１１Ｂ】
2019128941.tif 000133
【図１１Ｃ】
2019128941.tif 000134
【図１１Ｄ】
2019128941.tif 000135
【図１１Ｅ】
2019128941.tif 000136
【図１１Ｆ】
2019128941.tif 000137
【図１１Ｇ】
2019128941.tif 000138
【図１１Ｈ】
2019128941.tif 000139
【図１１Ｉ】
2019128941.tif 000140
【図１１Ｊ】
2019128941.tif 000141
【図１１Ｋ】
2019128941.tif 000142
【図１１Ｌ】
2019128941.tif 000143
【図１１Ｍ】
2019128941.tif 000144
【図１１Ｎ】
2019128941.tif 000145
【図１１Ｏ】
2019128941.tif 000146
【図１１Ｐ】
2019128941.tif 000147
【図１１Ｑ】
2019128941.tif 000148
【図１１Ｒ】
2019128941.tif 000149
【図１１Ｓ】
2019128941.tif 000150
【図１１Ｔ】
2019128941.tif 000151
【図１１Ｕ】
2019128941.tif 000152
【図１１Ｖ】
2019128941.tif 000153
【図１２Ａ】
2019128941.tif 000154
【図１２Ｂ】
2019128941.tif 000155
【図１２Ｃ】
2019128941.tif 000156
【図１２Ｄ】
2019128941.tif 000157
【図１２Ｅ−１】
2019128941.tif 000158
【図１２Ｅ−２】
2019128941.tif 000159
【図１２Ｆ−１】
2019128941.tif 000160
【図１２Ｆ−２】
2019128941.tif 000161
【図１２Ｇ−１】
2019128941.tif 000162
【図１２Ｇ−２】
2019128941.tif 000163
【図１２Ｈ−１】
2019128941.tif 000164
【図１２Ｈ−２】
2019128941.tif 000165
【図１２Ｉ−１】
2019128941.tif 000166
【図１２Ｉ−２】
2019128941.tif 000167
【図１２Ｊ】
2019128941.tif 000168
【図１２Ｋ−１】
2019128941.tif 000169
【図１２Ｋ−２】
2019128941.tif 000170
【図１２Ｌ−１】
2019128941.tif 000171
【図１２Ｌ−２】
2019128941.tif 000172
【図１３Ａ】
2019128941.tif 000173
【図１３Ｂ】
2019128941.tif 000174
【図１３Ｃ】
2019128941.tif 000175
【図１３Ｄ】
2019128941.tif 000176
【図１３Ｅ】
2019128941.tif 000177
【図１３Ｆ】
2019128941.tif 000178
【図１３Ｇ】
2019128941.tif 000179
【図１３Ｈ】
2019128941.tif 000180
【図１３Ｉ】
2019128941.tif 000181
【図１３Ｊ】
2019128941.tif 000182
【図１３Ｋ】
2019128941.tif 000183
【図１３Ｌ】
2019128941.tif 000184
【図１３Ｍ】
2019128941.tif 000185
【図１４Ａ】
2019128941.tif 000186
【図１４Ｂ】
2019128941.tif 000187
【図１４Ｃ】
2019128941.tif 000188
【図１４Ｄ】
2019128941.tif 000189
【図１４Ｅ】
2019128941.tif 000190
【図１４Ｆ】
2019128941.tif 000191
【図１４Ｇ】
2019128941.tif 000192
【図１４Ｈ】
2019128941.tif 000193
【図１４Ｉ】
2019128941.tif 000194
【図１４Ｊ】
2019128941.tif 000195
【図１４Ｋ】
2019128941.tif 000196
【図１４Ｌ】
2019128941.tif 000197
【図１４Ｍ】
2019128941.tif 000198
【図１４Ｎ】
2019128941.tif 000199
【図１４Ｏ】
2019128941.tif 000200
【図１４Ｐ】
2019128941.tif 000201
【図１４Ｑ】
2019128941.tif 000202
【図１４Ｒ】
2019128941.tif 000203
【図１４Ｓ】
2019128941.tif 000204
【図１４Ｔ】
2019128941.tif 000205
【図１４Ｕ】
2019128941.tif 000206
【図１４Ｖ】
2019128941.tif 000207
【図１４Ｗ】
2019128941.tif 000208
【図１４Ｘ】
2019128941.tif 000209
【図１４Ｙ】
2019128941.tif 000210
【図１４Ｚ】
2019128941.tif 000211
【図１４ＡＡ】
2019128941.tif 000212
【図１４ＡＢ】
2019128941.tif 000213
【図１４ＡＣ】
2019128941.tif 000214
【図１４ＡＤ】
2019128941.tif 000215
【図１５Ａ】
2019128941.tif 000216
【図１５Ｂ】
2019128941.tif 000217
【図１５Ｃ】
2019128941.tif 000218
【図１５Ｄ】
2019128941.tif 000219
【図１５Ｅ】
2019128941.tif 000220
【図１５Ｆ】
2019128941.tif 000221
【図１５Ｇ】
2019128941.tif 000222
【図１５Ｈ】
2019128941.tif 000223
【図１５Ｉ】
2019128941.tif 000224
【図１５Ｊ】
2019128941.tif 000225
【図１５Ｋ】
2019128941.tif 000226
【図１５Ｌ】
2019128941.tif 000227
【図１５Ｍ】
2019128941.tif 000228
【図１５Ｎ】
2019128941.tif 000229
【図１５Ｏ】
2019128941.tif 000230
【図１５Ｐ】
2019128941.tif 000231
【図１５Ｑ】
2019128941.tif 000232
【図１５Ｒ】
2019128941.tif 000233
【図１５Ｓ】
2019128941.tif 000234
【図１５Ｔ】
2019128941.tif 000235
【図１５Ｕ】
2019128941.tif 000236
【図１５Ｖ】
2019128941.tif 000237
【図１５Ｗ】
2019128941.tif 000238
【図１５Ｘ】
2019128941.tif 000239
【図１５Ｙ】
2019128941.tif 000240
【図１５Ｚ】
2019128941.tif 000241
【図１５ＡＡ】
2019128941.tif 000242
【図１５ＡＢ】
2019128941.tif 000243
【図１５ＡＣ】
2019128941.tif 000244
【図１５ＡＤ】
2019128941.tif 000245
【図１５ＡＥ】
2019128941.tif 000246
【図１５ＡＦ】
2019128941.tif 000247
【図１５ＡＧ】
2019128941.tif 000248
【図１５ＡＨ】
2019128941.tif 000249
【図１５ＡＩ】
2019128941.tif 000250
【図１６Ａ】
2019128941.tif 000251
【図１６Ｂ】
2019128941.tif 000252
【図１６Ｃ】
2019128941.tif 000253
【図１６Ｄ】
2019128941.tif 000254
【図１６Ｅ】
2019128941.tif 000255
【図１６Ｆ】
2019128941.tif 000256
【図１６Ｇ】
2019128941.tif 000257
【図１７Ａ】
2019128941.tif 000258
【図１７Ｂ】
2019128941.tif 000259
【図１７Ｃ】
2019128941.tif 000260
【図１７Ｄ】
2019128941.tif 000261
【図１８Ａ】
2019128941.tif 000262
【図１８Ｂ】
2019128941.tif 000263
【図１８Ｃ】
2019128941.tif 000264
【図１８Ｄ】
2019128941.tif 000265
【図１８Ｅ】
2019128941.tif 000266
【図１８Ｆ】
2019128941.tif 000267
【図１８Ｇ】
2019128941.tif 000268
【図１８Ｈ】
2019128941.tif 000269
【図１８Ｉ】
2019128941.tif 000270
【図１９Ａ】
2019128941.tif 000271
【図１９Ｂ】
2019128941.tif 000272
【図１９Ｃ】
2019128941.tif 000273
【図１９Ｄ】
2019128941.tif 000274
【図１９Ｅ】
2019128941.tif 000275
【図１９Ｆ】
2019128941.tif 000276
【図１９Ｇ】
2019128941.tif 000277
【図１９Ｈ】
2019128941.tif 000278
【図２０Ａ】
2019128941.tif 000279
【図２０Ｂ】
2019128941.tif 000280
【図２０Ｃ】
2019128941.tif 000281
【図２０Ｄ】
2019128941.tif 000282
【図２０Ｅ】
2019128941.tif 000283
【図２０Ｆ】
2019128941.tif 000284
【手続補正書】
【提出日】平成30年10月5日(2018.10.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
表示生成コンポーネント、１つ以上の入力デバイス、及び１つ以上のカメラを有するデバイスにおいて、
前記１つ以上のカメラの視野の少なくとも一部分を含む第１のユーザーインターフェース領域に仮想オブジェクトを表示する要求を受信することと、
前記仮想オブジェクトを前記第１のユーザーインターフェース領域に表示する要求に応答して、前記表示生成コンポーネントを介して前記第１のユーザーインターフェース領域に含まれる前記１つ以上のカメラの前記視野の少なくとも一部分の上に前記仮想オブジェクトの表現を表示することと、を含み、前記１つ以上のカメラの前記視野が、前記１つ以上のカメラが位置している物理的環境のビューであり、前記仮想オブジェクトの前記表現を表示することが、
オブジェクト配置基準が満足されていないとの判定にしたがって、第１の１組の視覚特性と、前記１つ以上のカメラの前記視野内において前記物理的環境のどの部分が表示されるかに無関係な第１の向きとを伴う前記仮想オブジェクトの前記表現を表示することであり、前記オブジェクト配置基準が満たされるためには、前記仮想オブジェクトの配置場所が前記１つ以上のカメラの前記視野内で特定されることを必要とする、こと、及び
前記オブジェクト配置基準が満足されたとの判定にしたがって、前記第１の１組の視覚特性とは異なるの第２の１組の視覚特性と、前記１つ以上のカメラの前記視野内で検出された前記物理的環境内におけるプレーンに対応した第２の向きとを伴う前記仮想オブジェクトの前記表現を表示すること、を含む、方法。
【請求項２】
前記仮想オブジェクトの前記表現が前記第１の１組の視覚特性と前記第１の向きで表示されている間に前記オブジェクト配置基準が満たされたことを検出することを含む、請求項１に記載の方法。
【請求項３】
前記オブジェクト配置基準が満たされたことを検出したことに応答して、前記第１の向きから前記第２の向きに移動し、前記第１の１組の視覚特性を有することから前記第２の１組の視覚特性を有することに変化する前記仮想オブジェクトの前記表現を示すアニメーション化された遷移を、前記表示生成コンポーネントを介して表示することを含む、請求項２に記載の方法。
【請求項４】
オブジェクト配置基準が満たされていることを検出することが、
プレーンが前記１つ以上のカメラの前記視野内で特定されたことを検出すること、
少なくとも閾値時間にわたって前記デバイスと前記物理的環境との間において閾値移動量未満であることを検出すること、及び
前記第１のユーザーインターフェース領域内に前記仮想オブジェクトを表示する前記要求を受信してから少なくとも所定の時間が満了したことを検出することのうちの１つ以上を含む、請求項２又は３に記載の方法。
【請求項５】
前記第１の１組の視覚特性と、前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境の第１の部分にわたる前記第１の向きとを伴う前記仮想オブジェクトの前記表現が表示されている間に、前記１つ以上のカメラの第１の移動を検出することと、
前記１つ以上のカメラの前記第１の移動を検出したことに応答して、前記第１の１組の視覚特性と、前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境の第２の部分にわたる前記第１の向きとを伴う前記仮想オブジェクトの前記表現を表示することとを含み、前記物理的環境の前記第２の部分が、前記物理的環境の前記第１の部分とは異なる、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記第２の１組の視覚特性と、前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境の第３の部分にわたる前記第２の向きとを伴う前記仮想オブジェクトの前記表現が表示されている間に、前記１つ以上のカメラの第２の移動を検出することと、
前記デバイスの前記第２の移動を検出したことに応答して、前記デバイスの前記第２の移動にしたがって前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境が動き、前記第２の向きが前記１つ以上のカメラの前記視野内で検出された前記物理的環境内の前記プレーンに対応し続ける間に、前記第２の１組の視覚特性と、前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境の前記第３の部分にわたる前記第２の向きとを伴う前記仮想オブジェクトの前記表現の表示を維持することと、を含む、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記オブジェクト配置基準が満足されたとの判定にしたがって、前記第２の１組の視覚特性と、前記１つ以上のカメラの前記視野内で検出された前記物理的環境内の前記プレーンに対応した前記第２の向きとを伴う前記仮想オブジェクトの前記表現を表示することに関連して、触知出力を生成することを含む、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記第２の１組の視覚特性と、前記１つ以上のカメラの前記視野内で検出された前記物理的環境内の前記プレーンに対応した前記第２の向きとを伴う前記仮想オブジェクトの前記表現を表示している間に、前記１つ以上のカメラの前記視野内で検出された前記物理的環境における前記プレーンの少なくとも場所又は向きに関する更新を受信することと、
前記１つ以上のカメラの前記視野内で検出された前記物理的環境内における前記プレーンの少なくとも前記場所又は前記向きに関する前記更新を受信したことに応答して、前記更新にしたがって、前記仮想オブジェクトの前記表現の少なくとも場所及び／又は向きを調整することと、を含む、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記第１の１組の視覚特性が、第１のサイズと第１の半透明性レベルとを含み、
前記第２の１組の視覚特性が、前記第１のサイズとは異なる第２のサイズと、前記第１の半透明性レベルより低い第２の半透明性レベルとを含む、請求項１から８のいずれか一項に記載に記載の方法。
【請求項１０】
前記１つ以上のカメラの前記視野の少なくとも一部分を含まないそれぞれのユーザーインターフェースに前記仮想オブジェクトが表示されている間に、前記１つ以上のカメラの前記視野の少なくとも一部分を含む前記第１のユーザーインターフェース領域内に前記仮想オブジェクトを表示する前記要求が受信され、
前記第１の向きが、前記要求を受信したときに前記仮想オブジェクトが前記それぞれのユーザーインターフェースに表示されている間の前記仮想オブジェクトの向きに対応している、請求項１から９のいずれか一項に記載の方法。
【請求項１１】
前記第１の向きが、所定の向きに対応する、請求項１から９のいずれか一項に記載の方法。
【請求項１２】
前記第２の１組の視覚特性と、前記１つ以上のカメラの前記視野内で検出された前記物理的環境内の前記プレーンに対応する前記第２の向きとを伴う前記仮想オブジェクトを前記第１のユーザーインターフェース領域に表示している間に、前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境に対して第１の擬似的な物理的サイズから第２の擬似的な物理的サイズまで、前記仮想オブジェクトの擬似的な物理的サイズを変化させる要求を検出することと、
前記仮想オブジェクトの前記擬似的な物理的サイズを変化させる前記要求を検出したことに応答して、
前記仮想オブジェクトの前記擬似的な物理的サイズの前記第１の擬似的な物理的サイズから前記第２の擬似的な物理的サイズへの段階的な変化にしたがって、前記第１のユーザーインターフェース領域における前記仮想オブジェクトの前記表現の表示サイズを徐々に変化させることと、
前記第１のユーザーインターフェース領域における前記仮想オブジェクトの前記表現の前記表示サイズの前記段階的な変化中、前記仮想オブジェクトの前記擬似的な物理的サイズが所定の擬似的な物理的サイズに達したとの判定にしたがって、前記仮想オブジェクトの前記擬似的な物理的サイズが前記所定の擬似的な物理的サイズに達したことを示す触知出力を生成することと、を含む、請求項１から１１のいずれか一項に記載の方法。
【請求項１３】
前記所定の擬似的な物理的サイズとは異なる前記仮想オブジェクトの前記第２の擬似的な物理的サイズで前記第１のユーザーインターフェース領域に前記仮想オブジェクトを表示している間に、前記仮想オブジェクトを前記所定の擬似的な物理的サイズに戻す要求を検出することと、
前記仮想オブジェクトを前記所定の擬似的な物理的サイズに戻す前記要求を検出したことに応答して、前記仮想オブジェクトの前記擬似的な物理的サイズの前記所定の擬似的な物理的サイズへの変化にしたがって、前記第１のユーザーインターフェース領域における前記仮想オブジェクトの前記表現の前記表示サイズを変化させることと、を含む、請求項１２に記載の方法。
【請求項１４】
前記物理的環境に対する前記１つ以上のカメラのそれぞれの位置及び向きにしたがって、前記第２の１組の視覚特性を伴う前記仮想オブジェクトの前記表現の前記第２の向きを設定する前記プレーンを選択することを含み、前記プレーンを選択することが、
前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境の第１の部分にわたって前記仮想オブジェクトの前記表現が表示されたときに前記オブジェクト配置基準が満たされたとの判定にしたがって、前記第２の１組の視覚特性を伴う前記仮想オブジェクトの前記表現の前記第２の向きを設定する前記プレーンとして、前記１つ以上のカメラの前記視野内の前記物理的環境内において検出された複数のプレーンのうちの第１のプレーンを選択することと、
前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境の第２の部分にわたって前記仮想オブジェクトの前記表現が表示されたときに前記オブジェクト配置基準が満たされたとの判定にしたがって、前記第２の１組の視覚特性を伴う前記仮想オブジェクトの前記表現の前記第２の向きを設定する前記プレーンとして、前記１つ以上のカメラの前記視野内の前記物理的環境内で検出された前記複数のプレーンのうちの第２のプレーンを選択することと、を含み、前記物理的環境の前記第１の部分が、前記物理的環境の前記第２の部分とは異なり、前記第１のプレーンが、前記第２のプレーンとは異なる、請求項１から１３のいずれか一項に記載の方法。
【請求項１５】
前記第１のユーザーインターフェース領域に前記第２の１組の視覚特性と前記第２の向きとを伴う前記仮想オブジェクトを表示すると同時に、スナップショットアフォーダンスを表示することと、
前記スナップショットアフォーダンスのアクティブ化に応答して、前記第２の１組の視覚特性と、前記１つ以上のカメラの前記視野内で検出された前記物理的環境内の前記プレーンに対応する前記第２の向きとを伴う、前記１つ以上のカメラの前記視野内の前記物理的環境内の配置場所における前記仮想オブジェクトの前記表現の現在のビューを含むスナップショット画像をキャプチャすることと、を含む、請求項１から１４のいずれか一項に記載の方法。
【請求項１６】
１つ以上の制御アフォーダンスを、前記第１のユーザーインターフェース領域内に前記第２の１組の視覚特性を有する前記仮想オブジェクトの前記表現とともに表示することと、
前記第２の１組の視覚特性を有する前記仮想オブジェクトの前記表現とともに前記１つ以上の制御アフォーダンスを表示している間に、制御フェイディング基準が満たされていることを検出することと、
前記制御フェイディング基準が満たされていることを検出したことに応答して、前記１つ以上のカメラの前記視野を含む前記第１のユーザーインターフェース領域内に前記第２の１組の視覚特性を有する前記仮想オブジェクトの前記表現を表示し続けながら、前記１つ以上の制御アフォーダンスを表示することを停止することと、を含む、請求項１から１５のいずれか一項に記載の方法。
【請求項１７】
前記第１のユーザーインターフェース領域内に前記仮想オブジェクトを表示する前記要求に応答して、前記第１のユーザーインターフェース領域に含まれる前記１つ以上のカメラの前記視野の少なくとも一部分にわたって前記仮想オブジェクトの前記表現を表示する前に、較正基準が満足されていないとの判定にしたがって、ユーザーが前記物理的環境に対して前記デバイスを動かすことについてのプロンプトを表示することを含む、請求項１から１６のいずれか一項に記載の方法。
【請求項１８】
表示生成コンポーネントと、
１つ以上の入力デバイスと、
１つ以上のカメラと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備えるコンピュータシステムであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１から１７に記載の方法のいずれかを実行する命令を含む、コンピュータシステム。
【請求項１９】
１つ以上のプログラムを含むコンピュータプログラムであって、前記１つ以上のプログラムが、命令を含み、前記命令が、表示生成コンポーネント、１つ以上の入力デバイス、及び１つ以上のカメラを備えたコンピュータシステムによって実行されたときに、前記コンピュータシステムに、請求項１から１７に記載の方法のいずれかを実行させる、コンピュータプログラム。
【外国語明細書】
2019128941000001.pdf