(57)【要約】【課題】本発明はHCIメカニズムとインターフェースに関し、特にマルチタッチ用のHCIメカニズムとインターフェースに関する。【解決手段】本発明は、タッチ操作環境におけるGUI構造方式と方法、特にマルチタッチ設備の優位性を十分利用して、比較的少ない操作でより豊富な操作命令情報を入力する方法を提供した。本発明は主にマルチタッチを利用してより豊富な入力情報を提供し、比較的少ないステップでより複雑な構造を備えた操作命令を表現し、及びインターフェースをより知能化し、人体工学に合わせ、手の多くの部分での同時操作をより容易にする方法を提供する。【選択図】図１６
2013505505.tif 000002
【特許請求の範囲】
【請求項１】
タッチ画像及びタッチ画像からなる輪郭により区域または区域内対象を確定または選択する方法。
【請求項２】
マルチタッチ環境での使用に適したメニューで、特徴として、呼出メニューのタッチポイントが消え、かつメニューにメニューへの操作タッチポイントがないなら、メニューが消える。
【請求項３】
アイコンで、次ぎの１つまたは複数の特徴を有する：アイコンが触発されてから、異なった方向へアイコンを移動させると、異なった機能に対応する；アイコンが触発されてから、相応の指の下方または付近、またはタッチポイント付近に図形マークは現れ、相応の指またはタッチポイントが異なった方向へ滑り、異なった機能を選択または使用するよう指示する；アイコンが触発されてから、相応の手の指の下方または付近に図形マークが現れる；アイコン触発後現れた図形マークは相応のタッチポイントまたは相応の肢体部位、例えば指の移動について移動し、相対位置を保持する。
【請求項４】
インターフェースで、次ぎの１つまたは複数の特徴を有する：システムは１つまたは複数のタッチポイントの位置により、タッチポイントのタッチ画像及びプリセットされた設置に合わせて、タッチポイントが対応するタッチ物所在の手のその他部分が操作しやすい位置または区域を確定し、アイコン、スライダーなどは相応の区域または位置に直接に現れるまたは移動する、または相応の区域または位置の輪郭に符合して、使用者の手操作を便利にする；インターフェースのアイコンはタッチパネルの指の位置により、アイコンの排列を確定し、アイコンを相応の指の下方または付近などタッチしやすい位置に置く；インターフェースのアイコンは相応の手の各部分、または各部分付近または下方のタッチしやすい区域または位置と対応している。
【請求項５】
各タッチポイント及び選択した区域または位置または対象のあいだの関係を確定する構造で、各タッチポイント及びタッチポイントが選択または確定した対象を組分けして、使用者とプログラム設計者は、この構造により各タッチポイント及び選択または確定した区域または位置または対象のあいだの関係を定義し、操作情報を十分に利用することができる。特徴として、次ぎの１つまたは複数の方法で対象を組分けする：選択区域または位置または対象のタッチ物またはタッチ画像により組分けする；選択対象または区域または位置の方式より組分けする；１つまたは複数のタッチポイントで１つまたは複数の対象または区域または位置を選択または確定し、その後１つまたは複数のタッチポイントをすべて確定または選択された対象を離さないように保持し、これらのタッチポイントが選択または確定した区域または位置または対象により、その後のその他タッチポイントの機能及びその他タッチポイントが選択した対象が執行するまたは執行される操作の効果及び位置を確定する；タッチポイント所在の手により、タッチポイント及びタッチポイントより選択された対象を組分けする。
【請求項６】
タッチ工具と手とが共同で操作する方式で、特徴として、タッチ工具と手が同時にパネルをタッチする時、手でタッチ工具の機能を制御する。
【請求項７】
プログラムアーキテクチャで、特徴として、タッチ画像及びタッチ圧力、タッチ物とパネルとの距離により、相応の仮想物体及び相応物体の各項のパラメータと仮想空間における位置を生成し、物理エンジンと特殊効果エンジンなど関連プログラムに処理してもらって、タッチ効果のリアルタイムな生成を実現する。
【請求項８】
マルチタッチ制御に基づいた３Ｄ物体を操作・生成する方法で、特徴として、正確なタッチ画像及びその他プリセットパラメータに基づいて３Ｄ物体の基礎形状を生成し、さらにそれを制御して、最終の必要な３Ｄ図形及びその空間位置を確定する。
【請求項９】
ユーザー定義タッチ命令エディタで、特徴として、タッチ操作を複数の時間区間の標準動作に分解し、使用者が標準動作に基づいてタッチ命令をユーザー定義するようにする。
【請求項１０】
知能型メニューで、特徴として、選択した複数の対象にプログラム及びプログラムで開ける対象が含まれる場合には、このプログラムで相応のファイルを開くオプション提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はHCI（human computer interaction）メカニズムとインターフェースに関し、特にマルチタッチ用のHCIメカニズムとインターフェースに関する。
【背景技術】
【０００２】
既存のマルチタッチ操作は主にタッチ命令であり、使用者は煩雑なタッチ命令を覚えることがなかなかできない。既存のマルチタッチ操作方式は往々にして複数のタッチポイント間の関連を無視しており、特に複数のタッチポイントが複数の区域または対象を選択した場合には、各種の情報により対象間の関係を確定して比較的少ないステップで複雑な操作を執行することを無視している。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、タッチ操作環境におけるGUI（Graphical User Interface）構造方式と方法、特にマルチタッチ設備の優位性を十分利用して、比較的少ない操作でより豊富な操作命令情報を入力する方法を提供した。本発明は主にマルチタッチを利用してより豊富な入力情報を提供し、比較的少ないステップでより複雑な構造を備えた操作命令を表現し、及びインターフェースをより知能化し、人体工学に合わせ、操作をより容易にする方法を提供する。
【課題を解決するための手段】
【０００４】
本発明は一連のタッチ操作の環境、特にマルチタッチの環境におけるHCI方式とインターフェースを提供した。
本発明は、パネルにおけるばらばらなタッチポインを操作主体としていなく、手を操作主体として、手を１つの完全なハードウェアとしている。
本発明では、システムは使用者が手で操作していることを知っており、システムはタッチパネルなど設備により情報を取得し、使用者の手の姿、位置及び移動趨勢を判断して、各種の反応を行う。
【０００５】
使用者の一部の肢体がシステムより検知された場合、システムは使用者が手で操作していることを知っているので、検知した情報により、プリセットされた情報、例えば、使用者の手の外形データ、使用者の操作習慣により、使用者のその他の肢体部分の情報、例えば姿、位置などを判断する。これは必ずしも精確な判断ではなく、各種の操作を執行するために必要な情報を判断できてよい。例えば使用者の複数本の指及び手の平一側がパネルをタッチしているまたはパネルを離れていると検知された場合、システムは使用者の親指、手の平の下縁が必然的にパネル所在の平面に近づいたことを判断できるが、たとえシステムはそれらを検知していなくても、手の平がパネルに近づいて触発した操作を執行することができる。また、例えば、システムは使用者の手の平の位置を検知した場合、手の平の位置と姿により、使用者の指の位置を判断することができる。例えば図１９では、使用者が１本の指を曲げたことをシステムはタッチ画像により判断することができる。もう１つの手が薬指と人差し指を上げたことをシステムはタッチ画像により判断することができる。
【０００６】
手の１つまたは複数の部分を１つの特殊な操作工具とすることができ、同じ操作が手の異なった部分より執行されると異なった機能に対応することができる。一部の対象は特定の操作工具、例えば特定の手の部位またはタッチパネル操作工具の操作にのみ応答する、または特定の操作工具の操作に応答しないように設定されることができる。手の異なった部位またはその他異なった操作工具のタッチを、異なった対象を組分けする、及び各組間の関係を確定するための根拠にすることができるが、これを後でさらに説明する。
【０００７】
手の１つまたは複数の部分のあいだに関連をつけることができる、またはそれらを１つの全体としてみることができ、異なったタッチ画像の手を異なった操作工具とすることができる。
パネルにおいて、所在手の手の平がパネルに触れた１本のまたは複数本の指の滑りのみは特定メニューを呼び出すことができる。
【０００８】
また、例えばウィンドウは、所在手の手の平がパネルに触れた２本の指よりタッチされて始めて隠されたツールバーを表示し、１本の指はウィンドウの内容に対し各種の操作を行うことができるが、それにより表示面積を節約する。または２本の一緒に合わせられた指がタッチするまたはウィンドウ内で滑るときのみ、ウィンドウは隠されたツールバーを表示するが、これは、パネルのサイズが有限の移動設備にとって非常に有利であり、パネル面積を節約する一方、使用者はフルスクリーンで映画を見たりするとき、設備を持つ手の指がパネルを間違って触れてツールバーが滑る出ることを避けることができる。
【０００９】
例えば、一部の対象は所在の手の手の平がパネルに触れた指またはタッチ工具のタッチにしか応答しない。一部の対象は、所在手の手の平がパネルに触れた指またはタッチ工具のみが移動できるまたはタッチ使用できる。所在手の手の平がパネルに触れた手の指またはタッチ工具の機能は手の平が触れなかったときと変わる。例えば、指は１つの滑り区内で異なった方向へ滑ると、異なった機能に対応する。しかし、指の所在手の手の平が同時にパネルにタッチした場合、指が滑り区で滑ると、滑り区の位置を移動することになる。多くのあまりよく採用されていないオプションとアイコンまたはメニューまたは制御区はいずれも、所在手の手の平がパネルに触れた特定数の指が相応の位置、例えばウィンドウをタッチするときしか表示しない、または指の所在手の手の平がパネルに触れた指しか特定のアイコンまたはメニューの機能を使用できないように、設定されることができる。選択対象のタッチ物により対象を組分けする時、所在手の手の平がパネルに触れた手より選択された対象と所在手の手の平がパネルに触れない手より選択された対象を異なった組に分ける。多くの対象は手の平のタッチに応答しなく、指のタッチにのみ反応を行うが、それにより、ミス操作を避ける。
【００１０】
システムは使用者が手で操作していることを知っているので、シングルタッチ環境におけるタッチ物がパネルを離す場合のシリーズ動作に対し、マルチタッチ環境において、相応タッチ物がパネルを離す及びタッチ物所在の手がパネルを離すなど２種のケースに分けることができる。タッチ物の離しは各種のシステム動作を触発することができ、一部の動作はタッチ物が離すと発生するが、一部の動作はタッチ物が所在の手が離して初めて発生する。
【００１１】
メニューを触発した手または特定タッチポイント／タッチ物所在の手はすべてパネルを遠く離すと、または特定区域を離すと、メニューが消え、メニュー内容位置形態が変化するなどのメニューに関するシステム動作が起こる。使用者は相応の手の部分がパネルを離さないように保持し、または離して相応のシステム動作の触発を避けることができる。例えば使用者は指でメニューを呼び出し、その後、指の所在手の手の平のパネルへのタッチを保持しながら、その他の指でメニューを操作することができる。指の所在手が完全に特定区域を離した時、メニューは消える。
【００１２】
使用者の手の情報をプリセットすることで、手の検知された部分により、検知された部分の位置と姿の情報を判断する。例えば、システムは使用者の手の平の位置と姿により、システムに内蔵された手の模型及び使用者の手のデータに合わせて、使用者の指の位置を判断し、指の位置により各種の操作を執行することができる。例えば、指の下方区域における対象を選択し、指の位置により生物インターフェースの姿と位置を確定し、使用者の指を頂点としてスケッチされた輪郭により、輪郭内の区域または区域内の対象などを選択する。
【００１３】
３Ｄ感知機能を備えたタッチパネル等３Ｄ検知設備はパネルを離れた一定範囲内のタッチ物、及びタッチ物とパネルとの距離を検知することができる。２Ｄタッチにタッチ、非タッチなど２種の状態しかいないことに対し、３Ｄ検知設備はタッチ物とパネルとの距離により線性の状態変化を提供し、タッチ物とパネルとの間距の相違により、タッチ物がパネルにタッチする、パネル付近の一定範囲内にある、パネルを遠く離れるなどの状態に区分することで、使用者はパネルに触れなくて一部のもともとパネルをタッチして初めて実施できた操作を行うことができる。
【００１４】
シングルタッチ環境において、システムが対象を選択する時、システムが同じ時刻に１つの位置情報しか取得できないため、この位置情報が対応する対象は必然的に選択する対象であった。マルチタッチ環境において、システムは複数の位置情報を同時に取得する。例えば、図２４では、システムは１つの手の複数のタッチポイントを頂点として構成された区域６１と区域６２、及び複数の指の位置１５と１６、及び親指の位置５、６、及び手の平の位置１１、１２を取得した。これらの位置は複数の異なった対象に対応する可能性がある。普通の場合、これらの位置及び位置が対応する対象における大多数は確定されるだけで、即ちシステムはそれらの存在を知っているが、普通の操作は優先的に考慮されない。もう一部の対象と位置は選択され、多くの操作は選択した対象を操作対象とし、選択した対象により使用者の操作意図を判断し、さらに相応の操作を執行する。例えば、普通の場合、メニューを呼び出す時、システムは選択された対象により呼出メニューを確定し、特にメニューの内容、執行の各種の操作も選択された対象を操作対象とする。確定された対象はマルチタッチ環境における特殊な一類の対象で、システムの各種の豊富な位置、例えば使用者の手の姿などの取得に使用され、さらに使用者の操作意図を判断する。例えばシステムがメニューまたはその他内容を表示する必要があった時、システムが取得した使用者の指の位置は、表示するアイコンの位置及び姿の確定に使用され、オプションアイコンは使用者の指の位置により調整され、使用者の指の付近の操作しやすい位置に表示される。普通の場合、システムは１つの手の複数の部位、例えば複数本の指と親指、手の平を同時に検知した時、システムは優先的に指、特に中指の位置により選択した対象の位置を確定する。即ち中指がパネルにおける垂直投影が対応する位置の対象は選択操作の時に優先的に選択される対象とする。使用者は優先的に考慮する指を自己で設定することができるが、例えば中指を人差し指に変える。 
【図面の簡単な説明】
【００１５】
【図１】メニューの数類のスタイル。
【図２】メニューの数類のスタイル。
【図３】メニューの数類のスタイル。
【図４】メニューの数類のスタイル。
【図５】メニューがメニュー呼出命令が指示した位置と異なった位置に現れた場合のインターフェース説明図。
【図６】タッチペンインターフェースの１つの説明図。
【図７】一種の目標を選定するタッチ命令。
【図８】５つの指のタッチ画像。
【図９】１つのタッチ画像。
【図１０】人間の両手。
【図１１】一種のメニューを使用するタッチ命令。
【図１２】数種のメニューのスタイル。
【図１３】数種のアイコンのスタイル。
【図１４】一種のアイコンまたはメニューのスタイル。
【図１５】４つの指がアイコンをタッチした説明図。
【図１６】両手操作の一種の方式の説明図。
【図１７】複数のアイコンが現れ指がそのうちの３つのアイコンをタッチした説明図。
【図１８】両手操作の別の説明図。
【図１９】使用者の１本の指を曲げた左手、及び右手のタッチ画像の説明図。
【図２０】タッチ命令エディタのインターフェース説明図。
【図２１】使用者が中指を上げて中指が対応する対象を選択する説明図。
【図２２】生物インターフェース及びメニューの滑り選択の説明図。
【図２３】使用者が親指を手の下方に押した説明図。
【図２４】両手タッチパネルの区分説明図。
【図２５】１つのメニューの説明図。
【図２６】インターフェース説明図。
【図２７】インターフェース説明図。
【図２８】インターフェース説明図。
【図２９】情報を表示するインターフェース説明図。
【図３０】生物インターフェースの数種のメニュースタイルの説明図。
【図３１】生物インターフェースのメニュースタイル説明図。
【図３２】同じ生物インターフェースの異なったケースの数類のスタイル説明図。
【図３３】補助カーソルと２つのタッチポイントの説明図。
【図３４】１つの生物インターフェースの説明図。
【図３５】１つの生物インターフェースの説明図。
【図３６】複数本の指がパネルをタッチした時、生物インターフェースが手の平のタッチ位置を指示する説明図。
【図３７】手の平がパネルをタッチするときの生物インターフェースの説明図。
【図３８】手の平がパネルをタッチするときの生物インターフェースの説明図。
【図３９】生物インターフェースの説明図。
【図４０】生物インターフェースの説明図。
【図４１】生物インターフェースの説明図。
【図４２】１つの移動設備外観の説明図。
【図４３】生物インターフェースの説明図。
【図４４】生物インターフェースの説明図。
【図４５】生物インターフェースの説明図。
【発明を実施するための形態】
【００１６】
以下、いくつかの例を挙げて、マルチタッチ環境で複数の位置情報を同時に取得する操作と、シングルタッチ環境での操作との相違を説明する。
例１：例えば、図３４に示されたように、システムは性能が強いタッチパネルを使用し、使用者のパネルに近づいた４本の指、及び親指の位置を同時に検知した。
【００１７】
使用者の手がパネル上に滑り、デフォルトにおいて、使用者の中指の位置はマウスのカーソルのように、１つのアイコン対象を滑った時、システムはこの対象に関するより多くの情報を表示し、この対象に関するメニューを表示する可能性もある。
【００１８】
システムは中指８の位置により対象３００を選択し、対象３００によりメニュー８００を表示する。指８位置が対応する対象がフォルダなら、メニュー８００の内容はフォルダに関する各種の操作であり、プログラムなら、プログラムが実現できる各種の機能となる。
【００１９】
６，７，８，９，１０，１２により手の姿を確定して生物メニュー８００の姿を確定し、生物メニューは使用者の手の姿、特に指７，８，９，１０の位置によりオプションの位置を確定し、オプションは７，８，９，１０付近に現れ、７，８，９，１０の弧度により並ぶ。６，７，９，１０，１２の位置は確定されただけで、その下方の対象を選択しない。
【００２０】
手の平１２がパネルに近づいたまたはパネルにタッチしたかによりメニューを決め選択を決めるなどを確定する。メニュー操作の過程で、使用者は手を移動して異なった位置のオプションを操作するが、そうすると、中指８は対象３００上方を離してその他の位置に移動することがある。これは、メニュー８００に変化を発生させることがあり、例えば消えるまたは内容が変わる、指を遠く離すなど。システムは使用者が３００を選択しなくてその他の位置に移動したいか、それとも使用者がメニュー８００のその他位置のオプションを操作するかを判断できなくなる。そのために、使用者は対象３００を選択して現れたメニューを操作しようとするには、メニューを決め、または選択対象３００を決めて、メニューの消えまたは変化を避ける必要がある。システムは手の平１２の下方または下方付近にアイコンを表示して、使用者が手の平１２をパネルに近づけて相応の操作を行うように案内する。図３６に示されたように、システムは手の平の下方にアイコン８０９を表示して、使用者の手の平がパネルに近づくよう案内する。アイコン８０９が表示する位置はシステムがハードウェア設備を通じて検知した手の平の位置下方であってよく、システムが検知したその他肢体の位置であってもよい。例えばシステムは検知した指、手の側辺などの位置により、プリセットされた使用者の手のデータにあわせて、手の平の位置を判断する。指の位置により判断された手の平の位置はそれほど精確なものではなくてもよいが、８０９は使用者に対し手の平を近づけるよう案内するだけで、使用者にその意味をわかってもらえばよい。手の平がシステムが手の平の位置を検知できる範囲に近づいた時、８０９は手の平の下方に調整される。また、指親指でのパネルへのタッチ、パネル上の滑りを通じて選択を決め、メニューを決めるように設定してもよい。
【００２１】
親指６はメニューオプションの切り替えに使用されることができるが、即ち親指は滑り、クリックなどの方式を通じて、メニューのオプションを変えることができる。システムは８０１を表示して使用者の親指の操作を案内することができる。また手の平が左／右へ圧力を加えて異なった方向へメニューを切り替えるように設定することもできる。
【００２２】
人間の手は、多くの姿において、大範囲で移動するのに便利ではない。生物メニューを採用することで、メニューの姿は手の姿により調整でき、同時にオプションの弧度も手の弧度に合っているので、使用者は大範囲で手の平を移動する必要がなく、腕を回して指を移動すれば異なったオプションを選択することができる。オプションが多すぎた場合、親指を滑らせてオプションを切り替えることができる。一方、生物インターフェースは使用者に楽しい視覚的体験をもたらすことができる。
【００２３】
このように、１つの典型的な操作としては、使用者は中指８で操作対象を選択し、手の平１２をパネルに近づけ、腕をやや回して操作オプションを選択し、操作を完成する。操作全過程において、使用者の手は、パネルに１回近づき、オプション選択の時にクリックを１回行い、複数の操作を実際に同時に行ったので、従来の使用者が数回ものパネルクリック、パネル離しの操作と比べて、使用者のためにより流暢な操作体験をもたらしている。注意すべきなのは、オプション操作の時、指７，８，９，１０はいずれも、タッチまたは圧力増加の方式で相応のオプションを使用することができる。
【００２４】
本発明はまた、カバー選択の方式を提供したが、既ち区域６１または区域６２内の対象を選択する。カバー選択は普通、デフォルトの選択方式ではないが、籠罩方式で選択する必要があった時、親指を滑らせて選択タッチポイント下方の対象をカバー選択に切り替えてよい。また、手の平がパネルにタッチする／近づく時にカバー選択に切り替える、または「カバー選択に切り替えるか」のメッセージを与えるように設定することができる。
【００２５】
生物インターフェース：
マルチタッチ環境で、より豊富な使用者の手の情報を提供した。本発明はこれらの情報を使用してインターフェースを最適化したが、それを生物インターフェースを呼ぶ。
【００２６】
使用者はある対象または区域を選択しまたはタッチすると、使用者の指の付近でファイルプロパティ、または操作用の各種のオプションなど対象の相応の情報を表示することができる。例えば、図２４，１５，１６はそれぞれ左手、右手の指であり、６１，６２は手の複数の肢体を頂点としてカバーした区域であり、１２，１１はそれぞれ左手、右手の手の平であり、５，６は左手、右手の親指である。例えば６１または６２でカバーして複数の対象を選択すると、１５または１６付近または下方または前端に選択対象の各種のプロパティ、または実施できる各種の操作のオプションを表示することができる。使用者は左手をパネルに置き、多重クリップボードのモードに切り替え、右手のタッチポイントでクリップ対象または貼り付けの位置を選択すると、６２はこのときのクリップボード内の複数の対象を表示することができる。例えば、右手のタッチポイントで順序に数枚の写真をクリックすると、写真はクリップボードに添付され、６２内にこの数枚の写真が積み重ねた様子が表示される。例えば、図２９では、使用者は複数の指を写真９０１に置くと、その他の指の下方にはプロパティ情報または写真に対する各種の操作のオプションが表示される。例えば、図１５では、使用者は指で１つのファイル３９をドラッグすると、その他の指の下方にはファイルのプロパティ情報４０，４１が表示される。 ４０，４１はまた「クリップ」、「貼り付け」など各種のファイル３９に関連するオプションを表示することもできる。
【００２７】
本発明は生物インターフェースを提供する。生物インターフェースに基づいたメニューは次ぎの１つまたは複数の特徴を有する：
１．生物インターフェースに基づいたメニューのオプションアイコンは弧形で配列されており、使用者の手の形状により、各オプションのサイズ、間隔、相対位置、メニューの形状などを含め、メニューのスタイルを設置しておくことができる。
２．親指操作に適した位置に、相応のGUIの操作区域があり、また手の平の操作を案内するGUI区がある。
３．使用者の手の姿によりメニューのパネルに対する姿、オプションの間の相対位置を調整することができる。
４．ある肢体と対応する。肢体対応の時、肢体付近で表示されないことができる。例えば指と対応する。
５．肢体下方付近の肢体が操作しやすい位置と対応する。
６．指の現れ後、指の操作しやすい位置に自動的に近づく。
７．手、手の平の位置が固定の時、指の小範囲での移動はメニューの変化を起こさない。
【００２８】
メニューは普通、メニューを呼び出す特定肢体が離れたとき、またはメニューにタッチポインがないト時にメニューが消えるまたは変化する、移動するなどのように設定され、使用者に流暢な体験をもたらしている。
【００２９】
しかし、使用者がメニューを操作する過程で、使用者の手は１つの全体であるので、特定肢体／タッチポイントの移動は回避できなく、往々にしてメニューの消え、変更、移動などの変化を触発する操作を行うことがある。このような問題を防止するために、使用者は一部の操作を行って自分のメニューを操作する意図を明確にし、システムは使用者が現在のメニューを操作することを知ると、一部のもともとメニューの変化を触発できる操作はメニュー変化を触発しなくなる。このような操作はメニュー決めと呼ぶ。類似の操作は選択決めもあり、即ちシステムに使用者が現在の選択対象を選択することを明確に知らせることで、対象を選択した肢体またはタッチポイントが離れてからも、現在の対象への選択を保持することができる。
【００３０】
使用者は普通、手の平がパネル所在平面に近づき／パネルを押し、親指がパネルを押し／パネルを滑るなどの操作で、メニューを決める／選択を決めることを示す。その他の特定の指にもこれらの機能を付与することができる。使用者はその他の指に自分で設定することができ、デフォルトとして中指で対象を選択し、人差し指がパネルで叩くまたは滑るとメニューを決める／選択を決めるのように設定することができる。端末使用者は図２０に示されたタッチ命令エディタでユーザー定義を行うことができる。オプション決め／選択決めの触発用の操作は同時にオプション／制御区呼出の触発、オプション／制御区を触発し手の位置により姿を調整するなどにも使用できる。
【００３１】
例えば図３２は、生物メニューは手またはタッチポイントの位置により姿を調整する典型的な例であり、２，３，４，７，８，９はシステムが感知した使用者の指の位置であり、それらはパネルに対し異なった姿になった時、生物メニューは姿により調整されて、メニューが特定タッチポイントまたは指など肢体に対する相対位置が殆ど変わらないように保証される。
【００３２】
例えば、前記を参照し、図３４は１つの生物メニューの実例である。図３５〜図４１，図４３はいずれも生物メニューの各種の実例である。オプションアイコンは弧形で配列されており、例えば、図３７，図３８では、生物メニューのオプションは指の正下方に表示され、また指の前端に表示されるが、そうすると、使用者にとって、アイコンははっきり見えることができ、遮られることがない。図３７，図３４などのようにアイコンが比較的多い場合、使用者は手の平をパネルに近づけ、親指を滑らせるなどの方式で選択決めまたはメニュー決めなどの操作を行うことができるが、その目的として、手の移動によるオプション変化または消えなどを防止し、使用者の手が小範囲で移動しメニューにおける異なったオプションを選択することができるようにする。
【００３３】
オプションが多くない場合、オプションアイコンを異なった指と対応させ、使用者がアイコンにタッチしなくて、指の滑り、クリックなどの操作だけで、指と対応するオプションを選択し使用できるように設定することもできる。親指で、手を移動しない前提で１つのアイコをクリックするのは比較的難しいので、親指で操作する必要があるオプションは往々にして、親指と対応し、使用者が親指を滑らせて相応のオプションを操作できるように設定される。例えば図４０では、制御区８２６は親指６と対応しており、使用者は親指６を滑らせて、選択８２６内の異なったオプションを選択することができる。
【００３４】
オプションは、使用者の指の付近の区域と対応してもよい。例えば、図４３に示されたように、３８，３９，４０，４１などいくつかの滑り制御区はそれぞれ、各アイコンオプションと対応している。例えば、３８は３０，３１と対応しているので、タッチポイントが３８内で滑ると、３０，３１の間に選択を切り替え、システムは選択されたオプションをハイライトすることができる。
【００３５】
例えば、図３７では、システムは手の平の両側にアイコン８２２，８２３を表示して、手の平を案内して各種の操作をさせることができる。手の平が普通実施できる操作はパネルに近づくことである。８２２，８２３が異なったオプションを表示した場合、手の平が相応の方向に圧力を加えることでこの方向におけるアイコンが表示したオプションを選択する。例えば、右側に圧力を加えて、８２３を選択する。
【００３６】
例えば、図１３は、アイコンが特定肢体、例えば指に対する数種の位置である。そのうち１７は指の位置で、その他はアイコンである。使用者は異なった方向へ指を滑らせて、相応方向における機能を使用することができる。例えば、左上図では、指を右へ滑らせて、アイコン３１の機能を使用する。
オプションアイコンが指または指の下方の区域と対応する場合、オプションアイコンが使用者の指の付近に表示される必要がない。
【００３７】
生物メニューのアイコンは必ずしも使用者の手の付近に直接に現れない。メニューのアイコンがまず現れ、使用者の手がパネルに近づき、または一部の操作を行ったとき、メニューのアイコンが手の位置に近づけ、かつ自分の姿を調整するのようでもよい。例えば、パネルにおけるアイコンはガラス塊のように、使用者がそれらを自由に移動することができる。使用者は親指を滑らせ、または手の平をパネルに近づけると、指の付近の一定範囲内、または手よりカバーされたアイコンは自動的に配列し、自分の位置を調整し、使用者の指の操作しやすい位置に移動するなど。即ちこれらのアイコンをオプションとして、１つの生物メニューを構成する。メニュー、制御区などはずっとパネルに表示されるが、特定なシステム動作が起こり、例えば相応の肢体がパネルに近づいたとき、メニューまたは制御区は使用者の指の操作しやすい位置に近づき、同時に使用者の肢体、特に指の位置の姿により、自分の姿と形状及びオプションの相対位置を調整し、使用者の操作を便利にする。
【００３８】
例えば図２７では、指７は比較的大きな面積でパネル８０３を滑り、メニュー２５１を呼び出すとともに、引き続き滑ってオプション８１２の内容を切り替えまたは選択することができる。選択されたオプションは、指でタッチされたオプションであってよく、指の滑りにつれてシステムが滑り方向により順次にハイライトして選択された相応のオプションであってもよい。それで、使用者はまずメニューまたは制御インターフェースを呼び出し、それから相応のオプションを選択する必要がなく、１つのステップだけで、メニューを呼び出し、相応のオプションを選択することができる。指の姿と滑り方向により、メニューの外観を調整し、オプションを指の滑り方向が所在の直線または曲線によって順次に配列することができる。例えば、図２８では、指は矢印に示された方向によって滑り、かつ図に示された姿と角度を呈した場合、メニュー２５１は、図２７から図２８に示されたスタイルに変わる。指が相応オプションを滑りまたは選択した場合、オプションは大きくなり、使用者がオプションの内容をはっきりと見えるようにし、使用者が力でパネルを押すなど方式でオプションの選択を確認するときに不注意な小範囲での指移動のためその他のオプションに切り替えられることを防止できる。指の滑りにつれてシステムが滑り方向によって順次に相応のオプションをハイライトして選択するときに、１つのオプションをハイライト後、使用者が小範囲で指を滑らせても同様にシステムが次ぎのオプションに切り替えられなく、ミス操作を防止すべきである。
【００３９】
図２２では、使用者の手または４本の指または４本の指の指先は矢印方向にそって滑り、メニュー８２５が現れ、指が引き続き滑り、順次に８１３、８１４、８１５、８１６オプションを選択する。親指はパネルに触れまたは触れなくてよいが、その他の指が滑るとき、親指は移動しなくまたはその他の方向へ滑ると、異なったメニュー８２５を呼び出す。選択されたオプションはハイライトで表示され、選択されなかったオプションは半透明で表示される。相応のオプションを選択後、使用者は手をパネルから直接に離すことができ、選択されたオプションが対応する機能は執行される。使用者は如何なるオプションを使用しない場合、如何なるオプションを選択しないまで引き続き指を滑らせることができる。または、使用者は異なった圧力でパネルを押して、この時に選択されたオプションを使用することができる。複数の指の位置が複数のオプションまたは対象と対応する場合には、選択されたオプションは使用者のある特定の指にちょうど対応したオプションである。例えば、時計の指針のように、使用者の中指は順次に異なったオプションをさす。図２５は１つの実例である。
【００４０】
さらに、その他の位置、例えば４本の指の付近または下方には、同時に選択したオプションのサブメニューを表示することができる。オプションは使用者の手の移動について一緒に移動でき、使用者の指の操作しやすい位置に始終保持され、指の付近のあるオプションを選択した場合、サブメニューは８２５に現れ、さらなるサブメニューは３８、３９、４０、４１に現れる。
【００４１】
リボン式メニューは操作されるにつれて曲がって形状が変わることができる。例えば、図１４に示されたように、１７１，１７２，１７３は３つの指のタッチポイントで、２３１，２３２，２３３はメニューにおけるオプションアイコンであり、指は滑ってアイコンを操作するが、例えば、アイコンが対応するパラメータ、例えばパネル輝度を操作する。
【００４２】
挿入操作と関連操作：
使用者は１つまたは複数の指でドキュメントのある位置またはある選択された内容を押すとともに、手書きペンでその他位置に書くと、書かれた内容は選択された位置のマークアップになる。使用者は同様に、システムを多重選択のモードに入らせることができるが、例えば、多重選択キーを押しながら、指で相応の内容または位置をクリックして選択し、その後手書きペンで書くと、書かれた内容は選択内容または位置のマークアップになる。
【００４３】
複数組対象の協同操作
本発明は各タッチポイント及び選択された区域または位置または対象のあいだの関係を確定する構造、特に各タッチポイント及びタッチポイントが選択または確定した区域または位置または対象への組分けの原則を提供した。使用者とプログラム設計者はこの構造により各タッチポイント及び選択または確定された区域または位置または対象のあいだの関係を定義して、操作情報を十分に利用し、使用者が比較的少ないステップで自分の操作意図を示し、操作体験を向上することができある。また操作効率を向上することができる。
【００４４】
各タッチポイント及び選択された区域または位置または対象のあいだの関係に使用されて、各タッチポイント及び選択された区域または位置または対象を組分けする情報は次ぎ及びその他のものを含む：
１、選択区域または位置または対象のタッチ物またはタッチ画像、特に手の異なった部位またはタッチ工具である。例えば、１本の指で対象をタッチして選択するか、それとも２本の指で対象をタッチして選択するか、それともタッチペンで対象をタッチして選択するか。
２、対象または区域または位置を選択するときに行う異なった操作である。例えば、１回クリックして選択された対象、２回クリックして選択された対象、選択枠をドラッグして選択された対象、画像で構成された輪郭にタッチして選択された対象、及び画像カバーにタッチして選択された対象は、異なった組に分けられる。
３、マルチタッチ環境において、１つまたは複数のタッチポイントで１つまたは複数の対象または区域または位置を選択または確定することができ、その後この１つまたは複数のタッチポイントがすべて確定または選択された対象を離さないように保持し、これらのタッチポイントが選択または確定した区域または位置または対象により、その後のその他のタッチポイントの機能及びその他タッチポイントより選択された対象が執行するまたは執行される操作の効果と位置を確定する。この方式はマルチタッチ協同操作と呼ぶ。
【００４５】
各組のタッチポイント及び選択された対象または区域または位置のあいだの関係は、次ぎ及びその他のものを含む：
１、そのうち１組のタッチポイントまたは選択した対象または区域または位置は、もう１組のタッチポイントまたは選択した区域または対象または位置の機能または執行される操作を制御する。
２、そのうち１組の選択された対象または区域はもう１つの対象または区域の情報を読み出す。
３、１組の区域の内容または対象の内容をもう１組の区域または対象に移動またはコピーする。
４、及びどの区域または位置を操作が発生する位置または操作の結果を挿入するまたは保存する位置とするか。
５、１組の対象ともう１組の対象との関連関係を確定する。
【００４６】
例えば、使用者は１つのタッチポインで１つの圧縮ソフトのアイコンまたはインターフェースをタッチし、圧縮ソフトをタッチするタッチポイントをパネルから離れないように保持しながら、もう１つの指で圧縮予定のファイルまたはフォルダをクリックし、２つの指で圧縮ファイルを保存するフォルダをクリックし、その後圧縮ソフトアイコンをタッチするタッチポイントをパネルから離させ、システムに操作終了を知らせ、システムは圧縮ソフトのインターフェースを開くまたは直接にいくつかの常用オプションのアイコンを与えるまたは直接に操作を執行する。
【図１】
2013505505.tif 000003
【図２】
2013505505.tif 000004
【図３】
2013505505.tif 000005
【図４】
2013505505.tif 000006
【図５】
2013505505.tif 000007
【図６】
2013505505.tif 000008
【図７】
2013505505.tif 000009
【図８】
2013505505.tif 000010
【図９】
2013505505.tif 000011
【図１０】
2013505505.tif 000012
【図１１】
2013505505.tif 000013
【図１２】
2013505505.tif 000014
【図１３】
2013505505.tif 000015
【図１４】
2013505505.tif 000016
【図１５】
2013505505.tif 000017
【図１６】
2013505505.tif 000018
【図１７】
2013505505.tif 000019
【図１８】
2013505505.tif 000020
【図１９】
2013505505.tif 000021
【図２０】
2013505505.tif 000022
2013505505.tif 000023
【図２１】
2013505505.tif 000024
【図２２】
2013505505.tif 000025
【図２３】
2013505505.tif 000026
【図２４】
2013505505.tif 000027
【図２５】
2013505505.tif 000028
【図２６】
2013505505.tif 000029
【図２７】
2013505505.tif 000030
【図２８】
2013505505.tif 000031
【図２９】
2013505505.tif 000032
【図３０】
2013505505.tif 000033
【図３１】
2013505505.tif 000034
【図３２】
2013505505.tif 000035
【図３３】
2013505505.tif 000036
【図３４】
2013505505.tif 000037
【図３５】
2013505505.tif 000038
【図３６】
2013505505.tif 000039
【図３７】
2013505505.tif 000040
【図３８】
2013505505.tif 000041
【図３９】
2013505505.tif 000042
【図４０】
2013505505.tif 000043
【図４１】
2013505505.tif 000044
【図４２】
2013505505.tif 000045
【図４３】
2013505505.tif 000046
【図４４】
2013505505.tif 000047
【図４５】
2013505505.tif 000048
【国際調査報告】
2013505505.tif 000049
2013505505.tif 000050
2013505505.tif 000051
2013505505.tif 000052
2013505505.tif 000053
2013505505.tif 000054
2013505505.tif 000055
2013505505.tif 000056
2013505505.tif 000057
2013505505.tif 000058