(57)【要約】  本発明は、接触によって電子装置を操作するための電子装置と方法およびコンピュータプログラム製品に関するものである。装置は、ディスプレイ（１２０）であって、人間の指（２３０）または他の部材とディスプレイ上の接触感知領域（２２０）との間の接触を受信するためのディスプレイと、ディスプレイとの接触を登録し当該接触を電気信号に変換するための感知ユニットと、感知ユニットから受信した電気信号からディスプレイ（１２０）に関連付けられた座標値を算出し、受信した座標値とメモリに格納されたディスプレイ上のジェスチャ感知領域を示す所定の座標値とを比較するための処理ユニットと、を含む。処理ユニットは、ディスプレイと接触している人間の指または他の部材により実行されるジェスチャの速度に反応するような電子文書（２００）のブラウジングを開始するのに適している。
2009541875.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイ（１２０）であって、人間の指（２３０）または他の部材と前記ディスプレイ上の接触感知領域（２２０）との間の接触を受信するためのディスプレイ（１２０）と、
前記ディスプレイとの前記接触を登録し該接触を電気信号に変換するための感知ユニット（１５０）と、
前記感知ユニット（１５０）から受信した前記電気信号から前記ディスプレイ（１２０）に関連付けられた座標値を算出し、前記受信した座標値とメモリ（１６０）に格納された前記ディスプレイ上のジェスチャ感知領域を示す所定の座標値とを比較するための処理ユニット（１４０）と、
を含み、前記処理ユニット（１４０）は、前記ディスプレイと接触している人間の指または他の部材により実行されるジェスチャの速度に反応するような電子文書（２００）のブラウジングを開始するのに適していることを特徴とする電子デバイス（１００）。
【請求項２】
接触によって電子デバイスを操作するための方法であって、
ａ）人間の指（２３０）または他の部材と接触感知ディスプレイ（１２０）との間の接触を登録するステップ（３００）と、
ｂ）登録された接触から前記接触感知ディスプレイでの座標値を算出するステップ（３１０）と、
ｃ）算出された座標値と前記接触感知ディスプレイ上のジェスチャ感知領域と関連付けられた所定の座標値とを比較するステップ（３２０）と、
ｄ）前記ディスプレイの表面で人間の指または他の部材により実行されるジェスチャの動きの速度を検出するステップ（３５０）と、
ｅ）前記ディスプレイ上で実行される前記ジェスチャの速度に反応するような電子文書のブラウジングを開始するステップ（３６０）と、
を含むことを特徴とする方法。
【請求項３】
接触を感知する電子デバイス（１００）を操作するためコンピュータプログラムであって、
ａ）人間の指（２３０）または他の部材と接触感知ディスプレイ（１２０）との間の接触を登録し、
ｂ）登録された接触を前記接触感知ディスプレイ上の座標値に変換し、
ｃ）変換された座標値と前記接触感知ディスプレイ上のジェスチャ感知領域と関連付けられた所定の座標値とを比較し、
ｄ）前記ディスプレイの表面で人間の指または他の部材により実行されるジェスチャの動きの速度を検出し、
ｅ）前記ディスプレイ上で実行される前記ジェスチャの速度に反応するような電子文書のブラウジングを開始する、
ための命令セットを含むことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャによって電子デバイスを操作する分野に関するものである。特に、本発明は、接触により電子デバイスを操作するための電子デバイス、方法およびコンピュータプログラム製品に関するものである。
【背景技術】
【０００２】
近年、携帯型メディアプレーヤ、携帯電話、ＧＰＳ（グローバル・ポジショニング・システム）ナビゲーション・デバイスおよびコンピュータ・モニタのように、接触による電子デバイスの操作がますます普及している。
【０００３】
特に携帯用メディアデバイスおよび携帯電話では、ユーザインタフェース領域上のユーザの指による特定の動きは、音量の増減やアイテムリストの上下スクロールなどのデバイスによる特定の反応につながる。
【０００４】
近年、マウスの特定の移動によりウェブブラウザに対し１ページ戻るあるいは進める信号を出力する、いわゆる”マウスジェスチャ”を受け付け可能なウェブブラウザ・プログラムが市場にもたらされた。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、ジェスチャ操作機能がコンピュータまたは移動端末の画面またはディスプレイに示される内容とよりインタラクティブであり、電子デバイスの異なる機能およびアプリケーションを操作に用いられ得る電子デバイスを提供することが望ましい。
【０００６】
本発明は、少なくとも公知技術のいくつかの不利な点を取り除くことを意図している。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によれば、電子デバイスにおいて、
ディスプレイであって、人間の指または他の部材と前記ディスプレイ上の接触感知領域との間の接触を受信するためのディスプレイと、
前記ディスプレイとの前記接触を登録し該接触を電気信号に変換するための感知ユニットと、
前記感知ユニットから受信した前記電気信号から前記ディスプレイに関連付けられた座標値を算出し、前記受信した座標値とメモリに格納された前記ディスプレイ上のジェスチャ感知領域を示す所定の座標値とを比較するための処理ユニットと、
を含み、前記処理ユニットは、前記ディスプレイと接触している人間の指または他の部材により実行されるジェスチャの速度に反応するような電子文書のブラウジングを開始するのに適していることを目的としている。
【０００８】
本発明の第２の態様によれば、接触によって電子デバイスを操作するための方法において、
ａ）人間の指または他の部材と接触感知ディスプレイとの間の接触を登録するステップと、
ｂ）登録された接触から前記接触感知ディスプレイでの座標値を算出するステップと、
ｃ）算出された座標値と前記接触感知ディスプレイ上のジェスチャ感知領域と関連付けられた所定の座標値とを比較するステップと、
ｄ）前記ディスプレイの表面で人間の指または他の部材により実行されるジェスチャの動きの速度を検出するステップと、
ｅ）前記ディスプレイ上で実行される前記ジェスチャの速度に反応するような電子文書のブラウジングを開始するステップと、
を含むことを目的としている。
【０００９】
本発明の第３の態様によれば、接触を感知する電子デバイスを操作するためコンピュータプログラムであって、
ａ）人間の指または他の部材と接触感知ディスプレイとの間の接触を登録し、
ｂ）登録された接触を前記接触感知ディスプレイ上の座標値に変換し、
ｃ）変換された座標値と前記接触感知ディスプレイ上のジェスチャ感知領域と関連付けられた所定の座標値とを比較し、
ｄ）前記ディスプレイの表面で人間の指または他の部材により実行されるジェスチャの動きの速度を検出し、
ｅ）前記ディスプレイ上で実行される前記ジェスチャの速度に反応するような電子文書のブラウジングを開始する、
ための命令セットを含むことを目的としている。
【００１０】
本発明によれば、ユーザは、文書、ウェブページ、リスト、および他の形式の情報をインタラクティブにめくる（flip）ために、ジェスチャおよびジェスチャ速度認識機能を使用することが可能となる。このような方法での文書の読み込みは、この種のデバイスのユーザにとってより自然な方法となり得る。このように、本発明によれば、ユーザは紙の文書を読むのと似た方法でディスプレイ上の文書を読むことが可能となる。したがって、本発明はユーザーフレンドリである。
【発明を実施するための最良の形態】
【００１１】
図１は、ユーザにより実行されるジェスチャを認識する電子デバイス１００を示しており、ここでジェスチャは、指、ペンあるいは他の部材により電子デバイス１００の接触感知ディスプレイ１２０に押圧または接触を行なうことにより実行される。
【００１２】
電子デバイスは、ここでは、パームトップまたはラップトップ・コンピュータのような携帯電子デバイスにおいて有利である。また、セルラ電話のような通信能力を有する携帯通信デバイスであってもよい。
【００１３】
さらにまた、電子デバイスは、ユーザインタフェース１３０、感知ユニット１５０およびメモリ１６０を含み、これらは全て処理ユニット１４０に接続している。また、加えて、無線通信ネットワーク内での通信を目的とする場合、電子デバイスは送受信機１１０を含み得る。
【００１４】
この場合、電子デバイス１００は送受信機１１０を介して、電子デバイス１００のユーザが興味のある電子文書、ウェブページおよび他の形式の情報を受信するかもしれない。また、電子デバイス１００は送受信機１１０を介して、無線通信ネットワークの他の部分に、追加の電子文書、ウェブページのダウンロード要求、あるいは、電子デバイス１００で読んだレビュー済文書のなどの情報を送信するかも知れない。
【００１５】
電子デバイスのディスプレイ１２０の機能は、文書、グラフィックス、ウェブページおよび他の情報の形式でユーザに情報を表示すると同時に、ディスプレイ１２０は接触および／または押圧を感知する。
【００１６】
このように、ユーザは、ディスプレイ１２０を押圧するかまたは接触することによって電子デバイスと通信でき、文書、ウェブページ、および他の形式の文書はディスプレイ上に表示される。
【００１７】
電子デバイス１００のディスプレイ１２０への接触または押圧は、当該接触または押圧を電気信号に変換する感知ユニットからの反応のトリガになる。付け加えると、感知ユニット１５０は、容量方式、抵抗方式、表面弾性波方式、または当業者に公知の他の方式の感知ユニットを含みうる。
【００１８】
抵抗方式の感知ユニットはコスト優位性があり、容量方式および表面弾性波ベースの感知ユニットはディスプレイからの高い反射光量による表示情報のより良い視認性およびディスプレイへの機械的圧力の回避に優位性がある。
【００１９】
処理ユニット１４０は、文書、ウェブページ、リストおよび他の電子情報を表示可能なフォーマットでディスプレイ１２０に送信するのに適している。また、処理ユニットは、ディスプレイ１２０への押圧または接触の結果としての感知ユニットから受信した電気信号をディスプレイ座標に変換するのに、また、それらを処理ユニット１４０の一部またはメモリ１６０内に格納されたオペレーティングシステムのコマンドに変換するのに適している。
【００２０】
特に、処理ユニット１４０は、特定のジェスチャ（すなわち、ディスプレイ１２０上でのユーザの指またはディスプレイ１２０表面上でのペンのような部材の移動により描かれる特定の形状）と関連付けられた、予め記憶されたディスプレイ座標のシリーズを含む。加えて、これらのジェスチャは、ユーザによりカスタマイズされ、メモリ１６０内に格納されるよう選択されるかもしれない。
【００２１】
ユーザにより実行される特定のジェスチャを検出するだけでなく、処理ユニット１４０は、また、例えば、感知ユニット１５０から受信する信号と関連付けられた座標の変化速度を算出することによって、ユーザがジェスチャを実行する速度の検出も含み得る。ジェスチャの速度は、例えば、ブラウジングに適した、テキストおよびグラフィックの文書、ウェブページ、および他の形式の文書のブラウジング速度を制御するのに使用される。
【００２２】
この種のジェスチャ速度のアプリケーションの一実施例は図２により説明される。上述したように、電子デバイスのメモリ１６０には、ユーザの特定のジェスチャと関連付けられた座標セットが記憶され、また、当該ジェスチャがユーザにより実行される速度と関連付けられた特定の速度ベクトルが記憶される。電子デバイスの内部あるいは外部にある、ＲＡＭ（ランダムアクセス・メモリ）、ＦｌａｓｈＲＯＭ（フラッシュ・リードオンリー・メモリ）、種々のタイプのメモリカード、マイクロドライブ、ハードディスクおよび他の形式のメモリのような、情報を格納するのに適した任意の種類のメモリを使用することが出来る。
【００２３】
図２を参照すると、図１の電子デバイス１００のディスプレイが示されている。この例においては、ディスプレイは、テキスト２１０を含む電子文書２００を示しているが、画像を含む文書、画像とテキストの混在文書、および基本的には電子デバイス１００のディスプレイ１２０で見るのに適した任意の文書を表示し得る。
【００２４】
電子デバイス１００のディスプレイ１２０の右上の角において、ディスプレイ１２０のアクティブ領域２２０に接触している人間の手２３０の形状をしたポインタ２３０が示されている。ポインタ２３０は任意の可能な形状を有し得るが、そのサイズは電子文書２００のテキスト２１０を読むのを妨げないように十分少なくなければならない。しかしながら、ポインタ２３０は透過的なものでもあり得、その場合はそのサイズはたいして重要とならない。
【００２５】
ここで、ディスプレイ１２０のアクティブ領域２２０は、ユーザがディスプレイ１２０の右上の角に対して接触および／または押圧するときに見られることに言及することが出来る。この例においては、ディスプレイ１２０のこの領域での接触または押圧は、処理ユニット１４０によって、ディスプレイ１２０のアクティブ領域での接触または押圧として、また、文書２１０のブラウジンク開始のコマンドとして解釈される。この後に、図２に示されるような文書の角の折り曲げを示すアニメーションが続き得る。アクティブ領域２２０のサイズと位置は任意であり得る。また、このようなアクティブ領域のいくつかはディスプレイに組み込まれ、または、文書特有のものであり得る。
【００２６】
ユーザが最初に押圧または接触したディスプレイ１２０上の位置から位置２５０の方に指またはペンをドラッグし続ける場合、移動方向は矢印２６０により示され、処理ユニット１４０は感知ユニット１５０を介して当該移動を”接触”座標の変化として検出し、また、これらの座標の変化速度も検出するかもしれない。これにより、処理ユニット１４０は、電子文書２００の現在ページの角２２０を破線２４０により示される位置にめくりなさいという命令として解釈することになる。ページを”めくる程度”は、ここでは、指を移動した距離とディスプレイ１２０上で指を移動した速度に対応するかもしれないページをめくる速度とに依存し得る。また、処理ユニット１４０は、破線２４０によって表される領域の最後の位置を保存することができ、矢印２６０の反対方向のユーザの指の移動に対し破線により示されるページの角２４０が小さくなるアニメーション（不図示）を表示するページめくりを戻す反応をし得る。
【００２７】
これは、ユーザがディスプレイ１２０の位置２５０から指を上げなかった場合、または、ユーザが指を上げたがディスプレイのほぼ同じ領域２５０に再び接触した場合に起こり得る。
【００２８】
このようにして、ユーザは、インタラクティブに文書、ウェブページ、リストおよび他の形式の情報をめくるためにジェスチャおよびジェスチャ速度を認識する電子機器の機能を使用するかもしれない。
【００２９】
図３を参照すると、本発明による方法の一実施例のステップが示されている。
【００３０】
ステップ３００では、接触感知電子デバイスの感知ユニット（例えば図１の電子デバイス１００の感知ユニット１５０）は、電子デバイスのディスプレイとの接触を登録する。これは、図１のディスプレイ１２０であってもよい。感知ユニットが基づいている技術に従って、感知ユニットはディスプレイへの接触あるいは押圧を検出する。また、接触あるいは押圧は、好適には人の指あるいは他の適切な部材（ペンなど）により実行され得る。
【００３１】
次のステップ（すなわちステップ３１０）では、感知ユニットは、接触感知デバイスのディスプレイとの接触に対応する信号を生成し、それらをデバイスの処理ユニット（例えば図１の電子デバイス１００の処理ユニット１４０）に送信する。接触している部材とディスプレイ（これは１つであろう）と間の接触領域のサイズに従って少数または多数の信号を生成する。そして、処理ユニットは信号をディスプレイ上の座標に変換する。
【００３２】
ステップ３２０では、処理ユニットは、ディスプレイ上の１以上のアクティブ領域に対応する座標を読み出し、これらをステップ３１０で算出された座標と比較するかもしれない。算出された座標の１以上がスクリーン上の１以上のアクティブ領域を定義する座標範囲と同一の場合、ステップ３３０では、処理ユニットはこのアクティブ領域がジェスチャの実行された速度を検出可能なジェスチャ感知領域であるかどうかをチェックする。
【００３３】
そして、ジェスチャ感知領域ではない場合、ステップ３３５では、処理ユニットはアクティブ領域を定義する座標と関連付けられた動作を実行する。これは例えば、文書のオープンおよびクローズ、電子デバイス内の新規アプリケーションのスタート、あるいはいくつかの他の動作を含む。しかしながら、特定のアプリケーションを特定のジェスチャと関連させることも出来、一旦アプリケーションがスタートすると、ジェスチャを実行するためのアクティブ領域は電子デバイスのディスプレイ全体となる。このようにして、ディスプレイの任意の場所で特定のジェスチャを実行することにより文書（テキスト文書あるいはテキストと画像の文書）はブラウジングされる。これらのジェスチャをユーザが定義することを可能としてもよい。
【００３４】
そして、ステップ３３０で処理ユニットが接触あるいは押圧されたアクティブ領域がジェスチャ感知領域であると検出した場合、感知ユニットからの信号の受信をステップで継続し、ステップ３４０でそれらをディスプレイ座標に変換する。ステップ３５０では、ステップ３３０で検出されたジェスチャ感知アクティブ領域と関連付けられた種々のジェスチャを表し電子デバイスのメモリに格納されたいくつかの所定の座標変化と比較されることにより、この座標の変化は処理ユニットによりジェスチャとして検出される。同時に、ステップ３６０では、処理ユニットは適切な動作を開始し、例えばディスプレイ上のアニメーションとして当該動作を出力する。このように、例えば、電子デバイスのディスプレイに表示された文書の角を押圧または接触することにより、また、文書の角から反対側の角までディスプレイの表面を指または何らかの他の部材によりドラッグすることにより、ユーザが”ページをめくる”ジェスチャを使用する場合、処理ユニットは、電子デバイスのディスプレイ上で、図２に示されるように、文書の第１ページが折りたたまれめくられることを示すアニメーションを開始し、現実世界での状況を似たページのめくりをシミュレートする。
【００３５】
これは、同時にいくつかのウェブページがオープンされるが各々の下に配置されるウェブブラウザ、または、各々の下に配置される多数の写真を含むフォトアルバムで行なわれても良い。他の１つの可能性は、連続するページが各々から開始される（例えば、本の左ページの端から右に向かってまたは本の右ページの端から左に向かって）本で有りうる。また、処理ユニットは、ジェスチャ感知領域に関連付けられた座標の変更速度を検出することができ、座標のこの変化に適合したアニメーションを開始することができる。このようにして、文書のページめくりの速度は電子デバイスのディスプレイの表面をユーザが指または何らかの他の部材でドラッグする速度に依存する。
【００３６】
そして、ステップ３７０では、処理ユニットは、（感知ユニットからいかなる信号も受信しないことによって）ユーザがディスプレイの表面から指を持ち上げたかそうかをチェックする。ある態様では、ユーザが指を持ち上げなかった場合（すなわち、処理ユニットは感知ユニットから信号を受信し続ける）、ステップ３７５で、処理ユニットは文書のアニメーションを出力し続け、ステップ３７０に戻る。これは、処理ユニットがユーザの指の動きを示している信号をまだ感知ユニットから受信する場合に起こる。
【００３７】
他の態様では、処理ユニットは感知ユニットから（ユーザが指の移動を停止したことを示す）変化しない信号を受信した場合、処理ユニットは電子デバイスのディスプレイ上の文書のアニメーションを停止しても良い。しかしながら、停止の後、ユーザが再び指を移動し続ける場合、処理ユニットは文書ページのアニメーションを出力し続けうる。
【００３８】
しかしながら、もしステップ３７０でユーザが電子デバイスの表面から指を持ち上げたことを処理ユニットが検出した場合、文書ページを元来の位置（例えば図２の位置２５０から位置２３０まで）まで戻すアニメーションを開始するかもしれない。他の態様では、ユーザがディスプレイの表面から指を持ち上げたとき、処理ユニットは単に文書ページのアニメーションを停止し、一旦ユーザがディスプレイの表面に接触し指を持ち上げた位置からさらに指を移動し始めると、アニメーションを出力し続けるかもしれない。
【００３９】
本発明を実現可能とするいくつかのバリエーションが存在する。あるバリエーションによれば、ユーザはページをめくる処理の間に、めくる処理により終わるページにおいてディスプレイの他の領域に接触するかもしれない。ここで、ユーザは人差し指によりページをめくり、他の領域を親指で接触するかもしれない。接触された領域は、ディスプレイに表示されているめくられたページ、接触された領域またはディスプレイのどこかのブックマークを生成するのに使用され得る。それにより、ユーザはブックマークに接触することにより元々のめくられたページにすばやく戻ることが可能となる。
【００４０】
上述の説明においてはジェスチャおよびジェスチャの速度により文書をブラウジングする例について詳しく述べたが、本発明は、ユーザの指またはディスプレイと接触する部材により実行されるジェスチャまたはジェスチャの速度により操作される、接触感知ディスプレイ上の全ての種類の動作に適用され得ることを述べておく。
【図面の簡単な説明】
【００４１】
【図１】本発明の一実施例に従った電子デバイスを示す図である。
【図２】図１の電子デバイス上での本発明の１つの可能なアプリケーションを示す図である。
【図３】本発明の方法の一実施例に従った方法のステップを示す図である。
【図１】
2009541875.tif 000003
【図２】
2009541875.tif 000004
【図３】
2009541875.tif 000005
【手続補正書】
【提出日】平成20年4月28日(2008.4.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ディスプレイ（１２０）であって、人間の指（２３０）または他の部材と前記ディスプレイ上の接触感知領域（２２０）との間の接触を受信するためのディスプレイ（１２０）と、
前記ディスプレイとの前記接触を登録し該接触を電気信号に変換するための感知ユニット（１５０）と、
前記感知ユニット（１５０）から受信した前記電気信号から前記ディスプレイ（１２０）に関連付けられた座標値を、前記受信した座標値とメモリ（１６０）に格納された前記ディスプレイ上のジェスチャ感知領域を示す所定の座標値とを比較するために算出するための処理ユニット（１４０）と、
を含み、前記処理ユニット（１４０）は、さらに、電子文書のブラウジングのために構成され、該ブラウジングは前記ディスプレイと接触している人間の指または他の部材により実行されるジェスチャの速度に反応し、前記ディスプレイ（１２０）に表示される電子文書の各々は独自のジェスチャ・セットと関連付けられている、ことを特徴とする電子デバイス（１００）。
【請求項２】
接触によって電子デバイスを操作するための方法であって、
ａ）人間の指（２３０）または他の部材と接触感知ディスプレイ（１２０）との間の接触を登録するステップ（３００）と、
ｂ）登録された接触から前記接触感知ディスプレイでの座標値を算出するステップ（３１０）と、
ｃ）算出された座標値と前記接触感知ディスプレイ上のジェスチャ感知領域と関連付けられた所定の座標値とを比較するステップ（３２０）と、
ｄ）前記ディスプレイの表面で人間の指または他の部材により実行される１以上の特定ジェスチャと、前記ディスプレイに表示される１以上の特定電子文書と、を関連付けるステップと、
ｅ）前記ディスプレイの表面で人間の指または他の部材により実行される特定ジェスチャの動きの速度を検出するステップ（３５０）と、
ｆ）前記ディスプレイ上で実行される前記ジェスチャの速度に反応するような電子文書のブラウジングを開始するステップ（３６０）と、
を含むことを特徴とする方法。
【請求項３】
接触を感知する電子デバイス（１００）を操作するためコンピュータプログラムであって、
ａ）人間の指（２３０）または他の部材と接触感知ディスプレイ（１２０）との間の接触を登録（３００）し、
ｂ）登録された接触から前記接触感知ディスプレイ上の座標値を算出（３１０）し、
ｃ）前記算出された座標値と前記接触感知ディスプレイ上のジェスチャ感知領域と関連付けられた所定の座標値とを比較（３２０）し、
ｄ）前記ディスプレイの表面で人間の指または他の部材により実行される１以上の特定ジェスチャと、前記ディスプレイに表示される１以上の特定電子文書と、を関連付け、
ｅ）前記ディスプレイの表面で人間の指または他の部材により実行される特定ジェスチャの動きの速度を検出（３５０）し、
ｆ）前記ディスプレイ上で実行される前記ジェスチャの速度に反応するような電子文書のブラウジングを開始（３６０）する、
ための命令セットを含むことを特徴とするコンピュータプログラム。
【国際調査報告】
2009541875.tif 000006
2009541875.tif 000007
2009541875.tif 000008