(57)【要約】  インタラクティブ・ディスプレイ・システムで動作を開始するユーザの意図を判断することに関する様々な実施例がここに記載される。例えば、開示される一実施例は、タッチセンシティブ・ディスプレイを有するインタラクティブ・ディスプレイ・デバイスで動作を開始する方法を提供する。この例では、この方法は、ディスプレイの起動領域に開始制御を表示し、開始制御を介して開始入力を受け取り、開始入力の受け取りに応じて、ディスプレイの確認領域に確認ターゲットを表示し、確認ターゲットを介して確認入力を受け取り、確認入力に応じて動作を実行することを有する。
2014506368.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイを含むインタラクティブ・ディスプレイ・デバイスで動作を開始する方法であって、
前記ディスプレイの起動領域に開始制御を表示するステップと、
前記開始制御を介して開始入力を受け取るステップと、
前記開始入力の受け取りに応じて、前記ディスプレイの確認領域に確認ターゲットを表示するステップと、
前記確認ターゲットを介して確認入力を受け取るステップと、
前記確認入力に応じて動作を実行するステップと、
を有する方法。
【請求項２】
前記確認入力を受け取るステップは、前記確認ターゲットに向かってユーザインタフェースアイコンをドラッグするジェスチャ入力を受け取ることを有する、請求項１に記載の方法。
【請求項３】
前記ジェスチャ入力は、前記確認ターゲットの補完的なユーザインタフェースアイコンの内部に前記ユーザインタフェースアイコンをドラッグすることを有する、請求項２に記載の方法。
【請求項４】
前記確認入力が所定の確認時間間隔内に受け取られた場合にのみ、前記動作を実行するステップを更に有する、請求項１に記載の方法。
【請求項５】
前記確認入力を受け取るステップは、前記確認ターゲットを介してタップ入力を受け取ることを有する、請求項１に記載の方法。
【請求項６】
前記開始入力の受け取りに応じて、トレーニング要素を表示するステップを更に有する、請求項１に記載の方法。
【請求項７】
前記トレーニング要素は、ジェスチャ速度及びジェスチャ方向の特性のうち１つ以上に応じて表示される、請求項６に記載の方法。
【請求項８】
ディスプレイと、
前記ディスプレイ上での接触及び／又は近くの非接触を検出するように構成された接触及び／又は非接触検出サブシステムと、
データ保持サブシステムと、
前記データ保持サブシステムに格納された命令を実行するように構成された論理サブシステムと、
を有し、
前記命令は、
前記ディスプレイの起動領域に開始制御を表示し、
前記開始制御を介して開始入力を受け取り、
前記ディスプレイの確認領域において確認入力を受け取り、
前記確認入力に応じて動作を実行するように構成されるインタラクティブ・ディスプレイ・デバイス。
【請求項９】
前記開始入力の受け取りに応じて確認ターゲットを表示するように実行可能な命令を更に有する、請求項８に記載のデバイス。
【請求項１０】
ジェスチャ速度及びジェスチャ方向の特性のうち１つ以上に応じてトレーニング要素を表示するように実行可能な命令を更に有する、請求項８に記載のデバイス。
【発明の詳細な説明】
【背景技術】
【０００１】
サーフェス・コンピュータ・デバイス（surface  computing  device）のようなインタラクティブ・ディスプレイ・システムは、表示画面と、表示画面上の接触を検出するように構成された接触検出機構とを含む。光学式機構、容量性機構及び抵抗性機構を含み、これらに限定されない様々な種類のこのような接触検出機構が使用されることがある。インタラクティブ・ディスプレイ・システムは、主なユーザ入力デバイスとして接触検出機構を利用することにより、ユーザがキーボード、マウス又はこのような従来の入力デバイスを用いずにデバイスと相互作用することを可能にする。
【発明の概要】
【課題を解決するための手段】
【０００２】
インタラクティブ・ディスプレイ・システムで動作を開始するユーザの意図を判断することに関する様々な実施例がここに記載される。例えば、開示される一実施例は、タッチセンシティブ・ディスプレイ（接触感知表示装置）を有するインタラクティブ・ディスプレイ・デバイスで動作を開始する方法を提供する。この方法は、ディスプレイの起動領域に開始制御を表示し、開始制御を介して開始入力を受け取り、開始入力の受け取りに応じて、ディスプレイの確認領域に確認ターゲットを表示し、確認ターゲットを介して確認入力を受け取り、確認入力に応じて動作を実行することを有する。
【０００３】
この概要は、以下の詳細な説明に更に記載する概念の抜粋を簡単な形式で紹介するために提供されている。この概要は、特許請求の範囲の対象の主な特徴又は必須の特徴を特定することを意図するものでなく、また、特許請求の範囲の対象の範囲を制限するために使用されることを意図するものでもない。更に、特許請求の範囲の対象は、この開示のいずれかの部分に記載のいずれかの欠点又は全ての欠点を解決する実現に限定されない。
【図面の簡単な説明】
【０００４】
【図１】インタラクティブ・ディスプレイ・デバイスの実施例の概略図
【図２】インタラクティブ・ディスプレイ・デバイスで動作を開始する方法の実施例を示すフローチャート
【図３】起動領域及び開始領域を有するユーザインタフェースの実施例を示す図
【図４】開始入力を受け取った後に確認ターゲットを表示する図３の実施例を示す図
【図５】確認入力を受け取った後の図３の実施例を示す図
【発明を実施するための形態】
【０００５】
前述のように、インタラクティブ・ディスプレイ・デバイスは、主な入力デバイスとしてタッチセンシティブ・ディスプレイを利用してもよい。従って、ジェスチャ入力及び非接触（hover）入力（すなわち、ディスプレイの表面の上で実行されるジェスチャ）を含んでもよいタッチ入力が、アプリケーション及びオペレーティングシステムを含むデバイスの全ての側面と相互作用するために使用されてもよい。
【０００６】
インタラクティブ・ディスプレイ・デバイスが水平ディスプレイを用いたテーブルのような構成を有する場合のような或る実施例では、故意でない接触が生じる可能性がある。このような接触入力の影響の重要度は、どのようにインタラクティブ・ディスプレイ・デバイスが故意でない入力を解釈するかに応じて変化し得る。例えば、“ペイント”プログラムにおける故意でない接触は、故意でない線の描画又は他のユーザにとって妨害的でない他のこのような軽微な取り消し可能な動作を生じることがある。一方、アプリケーション又はオペレーティングシステムのシェルの終了又は再起動を生じる故意でない接触は、ユーザ経験にとって非常に妨害的になる可能性がある。
【０００７】
従って、妨害的な動作の実行を生じる故意でない接触を回避することに役立つための、インタラクティブ・ディスプレイ・デバイスでの動作の段階的な開始に関する様々な実施例がここに開示される。これらの実施例について説明する前に、例示的なインタラクティブ・ディスプレイ・デバイス100について図１を参照して説明する。インタラクティブ・ディスプレイ・デバイス100は、画像を表示し、接触入力を受け取るように構成されたディスプレイ102を含む。ディスプレイ102の非限定的な例は、プラズマディスプレイ及び有機発光デバイス（OLED：organic  light  emitting  device）ディスプレイのような発光表示パネル、液晶ディスプレイ（LCD：liquid  crystal  display）のような変調表示パネル、デジタル・マイクロミラー・デバイス（DMD：digital  micromirror  device）又はLCDマイクロディスプレイのような映写マイクロディスプレイ、並びに陰極線管（CRT：cathode  ray  tube）ディスプレイを含む。プロジェクタ、レンズ、光ガイド等のような図１に示されていない様々な他のハードウェアエレメントが、ディスプレイ102に表示する画像を生成するために使用されてもよいことが分かる。更に、インタラクティブ・ディスプレイ・デバイス100は、スマートフォン又はポータブルメディアプレイヤのようなモバイルデバイス、スレートコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、ラップトップコンピュータ、サーフェスコンピュータ、テレビシステム等を含み、これらに限定されない如何なる適切な種類のデバイスでもよいことも分かる。
【０００８】
インタラクティブ・ディスプレイ・デバイス100は、ディスプレイ102上又はディスプレイ102の近くでの接触入力及び／又は非接触入力を検出するように構成された接触及び／又は非接触検出システム104を更に含む。前述のように、接触及び／又は非接触検出システム104は、接触及び／又は非接触入力を検出するために如何なる適切な機構を利用してもよい。例えば、光学式接触検出システムは、例えば、表示画面に投影された赤外線を介して及び／又は漏れ全反射（FTIR：frustrated  total  internal  reflection）を介して、接触入力を検出するために１つ以上のカメラを利用してもよい。同様に、光学式接触及び／又は非接触検出システム104は、画像センサ画素が画像表示画素と組み合わされた画素内センサ（sensor-in-pixel）表示パネルを利用してもよい。接触及び／又は非接触検出システム104の他の非限定的な例は、容量性及び抵抗性接触検出システムを含む。
【０００９】
インタラクティブ・ディスプレイ・デバイス100はまた、論理サブシステム106とデータ保持サブシステム108とを含む。論理サブシステム106は、ここに記載の様々な実施例を実施するために、データ保持サブシステム108に格納された命令を実行するように構成される。論理サブシステム106は、１つ以上の命令を実行するように構成された１つ以上の物理デバイスを含んでもよい。例えば、論理サブシステム106は、１つ以上のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、又は他の論理構造物の一部である１つ以上の命令を実行するように構成されてもよい。このような命令は、タスクの実行、データ種別の実装、１つ以上のデバイスの状態の変換、又は所望の結果への到達を行うように実装されてもよい。
【００１０】
論理サブシステム106は、ソフトウェア命令を実行するように構成された１つ以上のプロセッサを含んでもよい。更に又は別法として、論理サブシステム106は、ハードウェア又はファームウェア命令を実行するように構成された１つ以上のハードウェア又はファームウェア論理機構を含んでもよい。論理サブシステム106のプロセッサは、単一コアでもよく、マルチコアでもよく、ここで実行されるプログラムは、並列処理、分散処理又は他の適切な処理のために構成されてもよい。論理サブシステム106は、２つ以上のデバイスに分散された個々のコンポーネントを任意選択で含んでもよい。これらの２つ以上のデバイスは、遠隔に配置されてもよく、及び／又は協調処理のために構成されてもよい。論理サブシステム106の１つ以上の側面は、クラウドコンピュータ構成で構成された遠隔からアクセス可能なネットワーク接続されたコンピュータデバイスにより仮想化されて実行されてもよい。
【００１１】
データ保持サブシステム108は、ここに記載の方法及び処理を実施するために、論理サブシステム106により実行可能な命令及び／又はデータを保持するように構成された１つ以上の物理的な過渡的でないデバイスを含んでもよい。このような方法及び処理が実施される場合、データ保持サブシステム108の状態は変換されてもよい（たとえば、異なるデータを保持するように変換されてもよい）。
【００１２】
データ保持サブシステム108は、取り外し可能なコンピュータ媒体及び／又は内蔵のコンピュータ可読記憶媒体及び／又は他のデバイスを含んでもよい。データ保持サブシステム108は、特に、光学式メモリデバイス（例えば、CD、DVD、HD-DVD、Blue-Rayディスク等）、半導体メモリデバイス（例えば、RAM、EPROM、EEPROM等）及び／又は磁気メモリデバイス（例えば、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、テープドライブ、MRAM等）を含んでもよい。データ保持サブシステム108は、揮発性、不揮発性、ダイナミック、スタティック、読み書き、読み取りのみ、ランダムアクセス、順次アクセス、位置指定可能、ファイル指定可能及びコンテンツ指定可能という特徴のうち１つ以上を備えたデバイスを含んでもよい。或る実施例では、論理サブシステム106及びデータ保持サブシステム108は、特定用途向け集積回路又はシステム・オン・チップのような１つ以上の共通のデバイスに統合されてもよい。
【００１３】
図１はまた、取り外し可能コンピュータ可読記憶媒体109の形式のデータ保持サブシステム108の側面を示している。取り外し可能コンピュータ可読記憶媒体109は、ここに記載の方法及び処理を実施するために実行可能な命令及び／又はデータを格納及び／又は転送するために使用されてもよい。取り外し可能コンピュータ可読記憶媒体109は、特に、CD、DVD、HD-DVD、Blue-Rayディスク、EEPROM及び／又はフロッピー（登録商標）ディスク及び／又は他の磁気媒体の形式になってもよい。
【００１４】
前述のように、故意でない接触入力は、インタラクティブ・ディスプレイ・デバイスにより、動作を実行するコマンドとして解釈されることがある。例えば、或る実施例では、インタラクティブ・ディスプレイ・デバイス102は、テーブル又は机の形式になってもよい。従って、例えば、ユーザがディスプレイ上で手又は肘を休めた場合、故意でない接触が容易に生じる可能性がある。このような故意でない入力が再起動又は終了動作のような妨害的な動作に使用されるユーザインタフェース制御で生じた場合、故意でない接触は、ユーザ経験にとって妨害的になる可能性がある。
【００１５】
より具体的な例として、図１の実施例では、インタラクティブ・ディスプレイ・デバイス100は、ディスプレイ102の角に配置された複数のアクティブ領域110を有するユーザインタフェースを有する。アクティブ領域110は、接触入力が特定のアプリケーション及び／又はオペレーティングシステムの制御動作の実行を開始させるように構成されたディスプレイ102の領域を表す。例えば、アクティブ領域110内での接触入力は、アプリケーションを再起動又は終了させてもよい。図１の実施例では、アクティブ領域110はディスプレイ102の角に描かれているが、このようなアクティブ領域110は他の適切な位置を有してもよいことが分かる。
【００１６】
（例えば）再起動コマンドの意図しない実行がユーザ経験を妨害するため、インタラクティブ・ディスプレイ・デバイス102は、このような動作を実行するユーザの意図を確認するために、段階的な活性化シーケンスを利用する。このように、ユーザが行う意図しない接触が動作を開始させることを回避してもよい。ここに記載の実施例は、２段階の活性化シーケンスを利用するが、他の実施例は３段階以上を利用してもよいことが分かる。
【００１７】
図２は、インタラクティブ・ディスプレイ・デバイスで動作を開始する方法200の実施例を示すフローチャートを示している。ディスプレイの起動領域において受け取られた開始入力及びディスプレイの確認領域において受け取られた確認入力が、ユーザの意図を確認するために使用される。図１に示す実施例を参照して以下に方法200について説明するが、方法200は、如何なる適切なハードウェア及びソフトウェアを使用して実行されてもよいことが分かる。
【００１８】
方法200は、ステップ202において、ディスプレイの起動領域にアイコンのような開始制御を表示し、ステップ204において、起動領域において開始入力を受け取ることを有する。開始入力は、開始制御での接触相互作用を有する。開始制御は、起動領域に永続的に表示されてもよく、起動領域において接触が検出された場合に表示されてもよいことが分かる。起動領域は、段階的なシーケンスのうち第１の段階の間に開始入力を検出するように構成された図１のアクティブ領域110のようなディスプレイの一部を有する。
【００１９】
開始制御で行われた開始入力は、意図したものでもよく、故意でないものでもよい。従って、インタラクティブ・ディスプレイ・デバイスは、確認入力が受け取られるまで動作を実行しない。従って、次に方法200は、ステップ206において、確認領域にターゲットアイコン及び／又はターゲットテキストのような確認ターゲットを表示することを有する。確認ターゲットの表示は、開始の接触が認識されたことをユーザに伝えてもよい。ターゲットテキストは、確認入力が受け取られた場合に実行される動作を示してもよい。ここで用いられる「確認ターゲット（confirmation  target）」という用語は、前に開始された動作を実行する意図を確認するためにユーザが相互作用するいずれかのユーザインタフェース要素を示す。
【００２０】
図３は、表示されたアイコンの形式の開始制御306を備えた起動領域302を含むユーザインタフェース300の実施例を示している。前述のように、アイコン又は他の適切な開始制御が起動領域に永続的に表示されてもよく、起動領域において接触が検出された場合に表示されてもよいことが分かる。図３に示すように、指304は、制御306の上に位置している。開始制御は如何なる適切な方法で活性化されてもよいため、指304は単なる例示目的で示されており、限定的であることを意図しないことが分かる。従って、接触入力（接触、ジェスチャ及び前述の非接触を含む）に関して説明するが、ここに記載の実施例は、3Dカメラ、カーソル制御デバイス（トラックボール、ポインティング・スティック、スタイラス、マウス等）のような他の適切なユーザ入力デバイスから受け取った入力と共に使用されてもよい。
【００２１】
図３はまた、ターゲットテキスト308と、ユーザが意図を確認するために相互作用してもよいターゲットアイコン310とを有する確認ターゲット307を、影付きの形式で示している。これらの要素は、活性化されていない場合に目に見えない又は低減した視覚的な存在を有してもよく、開始入力が起動領域302で検出された場合に完全な輝度で表示されてもよいことを示すために、影付きの形式で示されている。更に、或る実施例では、確認ターゲット307の表示は、ユーザの注意を引き付けるように構成された適切なアニメーション効果及び／又はサウンド効果を含んでもよい。従って、インタラクティブ・ディスプレイ・デバイスで動作を開始することに慣れていない可能性があるユーザは、アニメーション効果及び／又はサウンド効果がどのように動作を開始するかについての有用な合図を提供することを見出してもよい。更に、このようなアニメーション効果及び／又はサウンド効果は、開始制御306による意図しない相互作用をユーザに警告してもよい。モバイルデバイスで実行される方法200の実施例では、適切な触覚的感覚が確認ターゲット307の表示に伴ってもよい。
【００２２】
図示の実施例では、ターゲットテキスト308は、確認された場合に実行される動作を示す。図３に示す実施例に示すように、ターゲットアイコン310は、起動領域においてアイコンに対して補完的な形状を有しており、意図を確認するために、ユーザがアイコンを起動領域からターゲットアイコンの内部にドラッグできるように構成される。起動領域のアイコンの補完的な形状及びターゲットアイコンは、実行されるジェスチャの性質をユーザに示すのに役立ち得ることが分かる。更に、図３の実施例のアイコンの特定の外観及び位置は、例示目的で提示されており、開始及び確認ユーザインタフェース要素は、他の適切な外観及び位置を有してもよいことが分かる。
【００２３】
図２に戻り、次に方法200は、208において、確認入力を受け取ることを有する。或る実施例では、確認入力は、起動領域のアイコンを確認ターゲットに移動させるジェスチャを有してもよい。例えば、或る実施例では、確認入力は、アイコンを起動領域から補完的なアイコンの内部にドラッグするジェスチャを含んでもよい。更に又は別法として、或る実施例では、確認入力は、確認ターゲットの周囲に定義された確認領域内で（例えばターゲットテキストの上で）受け取られたタップ入力を有してもよい。確認入力が開始入力の認識後の所定の時間間隔内に受け取られた場合、デバイスは関連する動作を実行する。そうでない場合、段階的な活性化シーケンスはタイムアウトし、関係する動作を実行せずに終了する。
【００２４】
確認時間間隔は、如何なる適切な持続時間を有してもよい。適切な持続時間は、新たなユーザが確認入力の性質を理解することを可能にするのに適切な持続時間であるが、望ましくないほど長期間に表示空間を占有しないような持続時間を含み、これに限定されない。図４は、単一の確認ターゲットを示しているが、或る実施例は、それぞれ異なる動作に対応してもよい複数の確認ターゲットを含んでもよいことが分かる。
【００２５】
図２に戻り、或る実施例では、どのように確認入力を実行するかをユーザに指示するために、確認入力を受け取る前又は確認入力を受け取る間に、トレーニングユーザインタフェース要素が表示されてもよい。例えば、図４は、確認入力を実行するために、「三日月型のところにアイコンをドラッグして下さい」という内容をユーザに指示するテキストを有するテキストボックス408を示している。また或いは別法として、トレーニング要素は、例えば、確認ジェスチャを実行するために辿るべき経路を示すグラフィカルな要素を有してもよい。例えば、図４はまた、確認入力のユーザの実行を案内するように構成された矢印409の表示を含む他の例示的なトレーニング要素を示している。テキストボックス408及び矢印409は、トレーニング要素の非限定的な例であり、他の適切なトレーニング要素及び／又はトレーニング要素の組み合わせが表示されてもよく、トレーニング要素が全く表示されなくてもよいことが分かる。或る実施例では、１つ以上のトレーニング要素の表示は、ユーザに提供される視覚的な合図を誇張するように構成された適切なアニメーション効果及び／又はゴースト効果を含んでもよい。
【００２６】
このようなトレーニング要素は、ジェスチャ速度及び／又は方向の特性を含み、これらに限定されない様々なジェスチャ入力特性に基づいて表示されてもよい。例えば、場合によってはどのようにアイコンを操作すべきかについて確信できない経験の少ないユーザが、経験のある自信のあるユーザに比べて比較的遅いジェスチャ入力を有する可能性があるため、トレーニング要素は、所定の閾値速度より遅いと判定されたジェスチャ又は不正確な経路を有すると判定されたジェスチャについて表示されてもよい。
【００２７】
或る実施例では、確認ターゲット307及び／又は開始制御306は、１つ以上のトレーニング要素により提供された機能を提供する。例えば、確認ターゲット307及び／又は開始制御306の外観は、ユーザが確認ジェスチャを実行すると変化してもよい。このような変化は、ジェスチャの実行の成功に向かうユーザの進行方向を示すように構成される。適切な非接触の合図、可聴式の合図及び／又は視覚的なアニメーションの合図がトレーニング要素の表示に伴ってもよい。
【００２８】
前述のように、ドラッグのジェスチャ以外の接触入力が確認入力として利用されてもよい。例えば、前述のように、確認入力の受け取りは、確認領域におけるタップ入力の受け取りを有してもよい。より具体的な例として、ユーザがデバイスに実行させることを意図する動作を確認するために、確認入力のドラッグを実行するのではなく、経験の豊富なユーザは、まず制御306をタップし、次にターゲットテキスト308又はターゲットアイコン310をタップすることを選択してもよい。この組み合わせは、タップ及びドラッグのシーケンスに比べてユーザにとって比較的速くなる可能性があり、従って、より熟練したユーザの興味を引く可能性がある。これに応じて、或る実施例では、確認入力の実行が成功したという視覚的な合図を提供するために、ディスプレイは、ターゲットアイコン310への開始制御306の移動を表示してもよい。或る実施例では、確認入力の実行の成功を示すために、他の適切な非接触の合図、可聴式の合図及び／又は視覚的なアニメーションの合図が提供されてもよい。一方、他の実施例では、開始された動作の実行に伴う合図（例えば、デバイスのシャットダウンに伴うシャットダウンのアニメーションのシーケンス）以外の合図は提供されなくてもよい。
【００２９】
インタラクティブ・ディスプレイ・デバイスが確認入力を受け取ると、方法200は、210において、動作を実行することを有する。例えば、図５は、開始制御306が指304によりターゲットアイコン310の内部にドラッグされた後のユーザインタフェースを概略的に示している。この確認入力に応じて、インタラクティブ・ディスプレイ・デバイスは、ターゲットテキスト308により示される「Start  Over」動作を実行する。
【００３０】
ここに記載の構成及び／又は手法は、実際に例示であり、複数の変形例が可能であるため、これらの特定の実施例又は例は、限定的な意味で考えられるべきではないことが分かる。ここに記載の特定のルーチン又は方法は、多数の処理方法のうち１つ以上を表し得る。従って、示された動作は、示されたシーケンスで実行されてもよく、他のシーケンスで実行されてもよく、並列に実行されてもよく、或る場合には省略されてもよい。同様に、前述の処理の順序は変更されてもよい。
【００３１】
この開示の対象は、様々な処理、システム及び構成、並びにここに記載の他の特徴、機能、動作及び／又は特性の全ての新規な自明でない組み合わせ及び部分的組み合わせと、そのいずれかの均等物及び全ての均等物とを含む。
【図１】
2014506368.tif 000003
【図２】
2014506368.tif 000004
【図３】
2014506368.tif 000005
【図４】
2014506368.tif 000006
【図５】
2014506368.tif 000007
【国際調査報告】
2014506368.tif 000008
2014506368.tif 000009
2014506368.tif 000010