【誤訳訂正書】
【提出日】平成26年7月7日(2014.7.7)
【誤訳訂正１】
【訂正対象書類名】明細書
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【発明の詳細な説明】
【発明の名称】タッチ操作環境におけるＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）構造方式と方法
【技術分野】
【０００１】
本発明はHCI(human  computer  interaction)メカニズムとインターフェースに関し、特にマルチタッチ用のHCIメカニズムとインターフェースに関する。
【背景技術】
【０００２】
既存のマルチタッチ操作は主にタッチ命令であり、使用者は煩雑なタッチ命令を覚えることがなかなかできない。既存のマルチタッチ操作方式は往々にして複数のタッチポイント間の関連を無視しており、特に複数のタッチポイントが複数の区域または対象を選択した場合には、各種の情報により対象間の関係を確定して比較的少ないステップで複雑な操作を執行することを無視している。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、タッチ操作環境におけるGUI(Graphical  User  Interface)構造方式と方法、特にマルチタッチ設備の優位性を十分利用して、比較的少ない操作でより豊富な操作命令情報を入力する方法を提供した。本発明は主にマルチタッチを利用してより豊富な入力情報を提供し、比較的少ないステップでより複雑な構造を備えた操作命令を表現し、及びインターフェースをより知能化し、人体工学に合わせ、操作をより容易にする方法を提供する。
【課題を解決するための手段】
【０００４】
本発明は一連のタッチ操作の環境、特にマルチタッチの環境におけるHCI方式とインターフェースを提供した。
本発明は、パネルにおけるばらばらなタッチポインを操作主体としていなく、手を操作主体として、手を１つの完全なハードウェアとしている。
本発明では、システムは使用者が手で操作していることを知っており、システムはタッチパネルなど設備により情報を取得し、使用者の手の姿、位置及び移動趨勢を判断して、各種の反応を行う。
【０００５】
使用者の一部の肢体がシステムより検知された場合、システムは使用者が手で操作していることを知っているので、検知した情報により、プリセットされた情報、例えば、使用者の手の外形データ、使用者の操作習慣により、使用者のその他の肢体部分の情報、例えば姿、位置などを判断する。これは必ずしも精確な判断ではなく、各種の操作を執行するために必要な情報を判断できてよい。例えば使用者の複数本の指及び手の平一側がパネルをタッチしているまたはパネルを離れていると検知された場合、システムは使用者の親指、手の平の下縁が必然的にパネル所在の平面に近づいたことを判断できるが、たとえシステムはそれらを検知していなくても、手の平がパネルに近づいて触発した操作を執行することができる。また、例えば、システムは使用者の手の平の位置を検知した場合、手の平の位置と姿により、使用者の指の位置を判断することができる。例えば図１９では、使用者が１本の指を曲げたことをシステムはタッチ画像により判断することができる。もう１つの手が薬指と人差し指を上げたことをシステムはタッチ画像により判断することができる。
【０００６】
手の１つまたは複数の部分を１つの特殊な操作工具とすることができ、同じ操作が手の異なった部分より執行されると異なった機能に対応することができる。一部の対象は特定の操作工具、例えば特定の手の部位またはタッチパネル操作工具の操作にのみ応答する、または特定の操作工具の操作に応答しないように設定されることができる。手の異なった部位またはその他異なった操作工具のタッチを、異なった対象を組分けする、及び各組間の関係を確定するための根拠にすることができるが、これを後でさらに説明する。
【０００７】
手の１つまたは複数の部分のあいだに関連をつけることができる、またはそれらを１つの全体としてみることができ、異なったタッチ画像の手を異なった操作工具とすることができる。
パネルにおいて、所在手の手の平がパネルに触れた１本のまたは複数本の指の滑りのみは特定メニューを呼び出すことができる。
【０００８】
また、例えばウィンドウは、所在手の手の平がパネルに触れた２本の指よりタッチされて始めて隠されたツールバーを表示し、１本の指はウィンドウの内容に対し各種の操作を行うことができるが、それにより表示面積を節約する。または２本の一緒に合わせられた指がタッチするまたはウィンドウ内で滑るときのみ、ウィンドウは隠されたツールバーを表示するが、これは、パネルのサイズが有限の移動設備にとって非常に有利であり、パネル面積を節約する一方、使用者はフルスクリーンで映画を見たりするとき、設備を持つ手の指がパネルを間違って触れてツールバーが滑る出ることを避けることができる。
【０００９】
例えば、一部の対象は所在の手の手の平がパネルに触れた指またはタッチ工具のタッチにしか応答しない。一部の対象は、所在手の手の平がパネルに触れた指またはタッチ工具のみが移動できるまたはタッチ使用できる。所在手の手の平がパネルに触れた手の指またはタッチ工具の機能は手の平が触れなかったときと変わる。例えば、指は１つの滑り区内で異なった方向へ滑ると、異なった機能に対応する。しかし、指の所在手の手の平が同時にパネルにタッチした場合、指が滑り区で滑ると、滑り区の位置を移動することになる。
多くのあまりよく採用されていないオプションとアイコンまたはメニューまたは制御区はいずれも、所在手の手の平がパネルに触れた特定数の指が相応の位置、例えばウィンドウをタッチするときしか表示しない、または指の所在手の手の平がパネルに触れた指しか特定のアイコンまたはメニューの機能を使用できないように、設定されることができる。選択対象のタッチ物により対象を組分けする時、所在手の手の平がパネルに触れた手より選択された対象と所在手の手の平がパネルに触れない手より選択された対象を異なった組に分ける。多くの対象は手の平のタッチに応答しなく、指のタッチにのみ反応を行うが、それにより、ミス操作を避ける。
【００１０】
システムは使用者が手で操作していることを知っているので、シングルタッチ環境におけるタッチ物がパネルを離す場合のシリーズ動作に対し、マルチタッチ環境において、相応タッチ物がパネルを離す及びタッチ物所在の手がパネルを離すなど２種のケースに分けることができる。タッチ物の離しは各種のシステム動作を触発することができ、一部の動作はタッチ物が離すと発生するが、一部の動作はタッチ物が所在の手が離して初めて発生する。
【００１１】
メニューを触発した手または特定タッチポイント／タッチ物所在の手はすべてパネルを遠く離すと、または特定区域を離すと、メニューが消え、メニュー内容位置形態が変化するなどのメニューに関するシステム動作が起こる。使用者は相応の手の部分がパネルを離さないように保持し、または離して相応のシステム動作の触発を避けることができる。例えば使用者は指でメニューを呼び出し、その後、指の所在手の手の平のパネルへのタッチを保持しながら、その他の指でメニューを操作することができる。指の所在手が完全に特定区域を離した時、メニューは消える。
【００１２】
使用者の手の情報をプリセットすることで、手の検知された部分により、検知された部分の位置と姿の情報を判断する。例えば、システムは使用者の手の平の位置と姿により、システムに内蔵された手の模型及び使用者の手のデータに合わせて、使用者の指の位置を判断し、指の位置により各種の操作を執行することができる。例えば、指の下方区域における対象を選択し、指の位置により生物インターフェースの姿と位置を確定し、使用者の指を頂点としてスケッチされた輪郭により、輪郭内の区域または区域内の対象などを選択する。
【００１３】
３Ｄ感知機能を備えたタッチパネル等３Ｄ検知設備はパネルを離れた一定範囲内のタッチ物、及びタッチ物とパネルとの距離を検知することができる。２Ｄタッチにタッチ、非タッチなど２種の状態しかいないことに対し、３Ｄ検知設備はタッチ物とパネルとの距離により線性の状態変化を提供し、タッチ物とパネルとの間距の相違により、タッチ物がパネルにタッチする、パネル付近の一定範囲内にある、パネルを遠く離れるなどの状態に区分することで、使用者はパネルに触れなくて一部のもともとパネルをタッチして初めて実施できた操作を行うことができる。指がスクリーンから一定範囲内にあり、スクリーンから遠くはなれていない状態の下で、タッチ点離れにより発生する幾らかのシステム事件が発生しないが、触れ物がタッチパネルに触れてから、始めて行える幾らかの操作、例えばタッチ対象のドラッグ等も発生しない。例えば、生物インターフェース等の対象が、相応なタッチ点又はタッチ点所在の手が離れた後失うが、システムが、タッチ点及び手が相変わらずスクリーンから一定距離範囲内であるのを探知できる場合、生物インターフェースが失わず、これでユーザが指等をスクリーンから外したり、又は手指でスクリーン等をクリックしたりする等の比較にきっぱりしている方式で生物インターフェースを操作し、これで、手が真実にスクリーンから外れた後、生物インターフェースが直ちに失うことにする。
【００１４】
シングルタッチ環境において、システムが対象を選択する時、システムが同じ時刻に１つの位置情報しか取得できないため、この位置情報が対応する対象は必然的に選択する対象であった。マルチタッチ環境において、システムは複数の位置情報を同時に取得する。
例えば、図２４では、システムは１つの手の複数のタッチポイントを頂点として構成された区域６１と区域６２、及び複数の指の位置１５と１６、及び親指の位置５、６、及び手の平の位置１１、１２を取得した。これらの位置は複数の異なった対象に対応する可能性がある。普通の場合、これらの位置及び位置が対応する対象における大多数は確定されるだけで、即ちシステムはそれらの存在を知っているが、普通の操作は優先的に考慮されない。もう一部の対象と位置は選択され、多くの操作は選択した対象を操作対象とし、選択した対象により使用者の操作意図を判断し、さらに相応の操作を執行する。例えば、普通の場合、メニューを呼び出す時、システムは選択された対象により呼出メニューを確定し、特にメニューの内容、執行の各種の操作も選択された対象を操作対象とする。確定された対象はマルチタッチ環境における特殊な一類の対象で、システムの各種の豊富な位置、例えば使用者の手の姿などの取得に使用され、さらに使用者の操作意図を判断する。例えばシステムがメニューまたはその他内容を表示する必要があった時、システムが取得した使用者の指の位置は、表示するアイコンの位置及び姿の確定に使用され、オプションアイコンは使用者の指の位置により調整され、使用者の指の付近の操作しやすい位置に表示される。普通の場合、システムは１つの手の複数の部位、例えば複数本の指と親指、手の平を同時に検知した時、システムは優先的に指、特に中指の位置により選択した対象の位置を確定する。即ち中指がパネルにおける垂直投影が対応する位置の対象は選択操作の時に優先的に選択される対象とする。使用者は優先的に考慮する指を自己で設定することができるが、例えば中指を人差し指に変える。
【図面の簡単な説明】
【００１５】
【図１】メニューの数類のスタイル。
【図２】メニューの数類のスタイル。
【図３】メニューの数類のスタイル。
【図４】メニューの数類のスタイル。
【図５】メニューがメニュー呼出命令が指示した位置と異なった位置に現れた場合のインターフェース説明図。
【図６】タッチペンインターフェースの１つの説明図。
【図７】一種の目標を選定するタッチ命令。
【図８】５つの指のタッチ画像。
【図９】１つのタッチ画像。
【図１０】人間の両手。
【図１１】一種のメニューを使用するタッチ命令。
【図１２】数種のメニューのスタイル。
【図１３】数種のアイコンのスタイル。
【図１４】一種のアイコンまたはメニューのスタイル。
【図１５】４つの指がアイコンをタッチした説明図。
【図１６】両手操作の一種の方式の説明図。
【図１７】複数のアイコンが現れ指がそのうちの３つのアイコンをタッチした説明図。
【図１８】両手操作の別の説明図。
【図１９】使用者の１本の指を曲げた左手、及び右手のタッチ画像の説明図。
【図２０】タッチ命令エディタのインターフェース説明図。
【図２１】使用者が中指を上げて中指が対応する対象を選択する説明図。
【図２２】生物インターフェース及びメニューの滑り選択の説明図。
【図２３】使用者が親指を手の下方に押した説明図。
【図２４】両手タッチパネルの区分説明図。
【図２５】１つのメニューの説明図。
【図２６】インターフェース説明図。
【図２７】インターフェース説明図。
【図２８】インターフェース説明図。
【図２９】情報を表示するインターフェース説明図。
【図３０】生物インターフェースの数種のメニュースタイルの説明図。
【図３１】生物インターフェースのメニュースタイル説明図。
【図３２】同じ生物インターフェースの異なったケースの数類のスタイル説明図。
【図３３】補助カーソルと２つのタッチポイントの説明図。
【図３４】１つの生物インターフェースの説明図。
【図３５】１つの生物インターフェースの説明図。
【図３６】複数本の指がパネルをタッチした時、生物インターフェースが手の平のタッチ位置を指示する説明図。
【図３７】手の平がパネルをタッチするときの生物インターフェースの説明図。
【図３８】手の平がパネルをタッチするときの生物インターフェースの説明図。
【図３９】生物インターフェースの説明図。
【図４０】生物インターフェースの説明図。
【図４１】生物インターフェースの説明図。
【図４２】１つの移動設備外観の説明図。
【図４３】生物インターフェースの説明図。
【図４４】生物インターフェースの説明図。
【図４５】生物インターフェースの説明図。
【発明を実施するための形態】
【００１６】
以下、いくつかの例を挙げて、マルチタッチ環境で複数の位置情報を同時に取得する操作と、シングルタッチ環境での操作との相違を説明する。
例１：例えば、図３４に示されたように、システムは性能が強いタッチパネルを使用し、使用者のパネルに近づいた４本の指、及び親指の位置を同時に検知した。
【００１７】
使用者の手がパネル上に滑り、デフォルトにおいて、使用者の中指の位置はマウスのカーソルのように、１つのアイコン対象を滑った時、システムはこの対象に関するより多くの情報を表示し、この対象に関するメニューを表示する可能性もある。
【００１８】
システムは中指８の位置により対象３００を選択し、対象３００によりメニュー８００を表示する。指８位置が対応する対象がフォルダなら、メニュー８００の内容はフォルダに関する各種の操作であり、プログラムなら、プログラムが実現できる各種の機能となる。
【００１９】
６，７，８，９，１０，１２により手の姿を確定して生物メニュー８００の姿を確定し、生物メニューは使用者の手の姿、特に指７，８，９，１０の位置によりオプションの位置を確定し、オプションは７，８，９，１０付近に現れ、７，８，９，１０の弧度により並ぶ。６，７，９，１０，１２の位置は確定されただけで、その下方の対象を選択しない。
【００２０】
手の平１２がパネルに近づいたまたはパネルにタッチしたかによりメニューを決め選択を決めるなどを確定する。メニュー操作の過程で、使用者は手を移動して異なった位置のオプションを操作するが、そうすると、中指８は対象３００上方を離してその他の位置に移動することがある。これは、メニュー８００に変化を発生させることがあり、例えば消えるまたは内容が変わる、指を遠く離すなど。システムは使用者が３００を選択しなくてその他の位置に移動したいか、それとも使用者がメニュー８００のその他位置のオプションを操作するかを判断できなくなる。そのために、使用者は対象３００を選択して現れたメニューを操作しようとするには、メニューを決め、または選択対象３００を決めて、メニューの消えまたは変化を避ける必要がある。システムは手の平１２の下方または下方付近にアイコンを表示して、使用者が手の平１２をパネルに近づけて相応の操作を行うように案内する。図３６に示されたように、システムは手の平の下方にアイコン８０９を表示して、使用者の手の平がパネルに近づくよう案内する。アイコン８０９が表示する位置はシステムがハードウェア設備を通じて検知した手の平の位置下方であってよく、システムが検知したその他肢体の位置であってもよい。例えばシステムは検知した指、手の側辺などの位置により、プリセットされた使用者の手のデータにあわせて、手の平の位置を判断する。指の位置により判断された手の平の位置はそれほど精確なものではなくてもよいが、８０９は使用者に対し手の平を近づけるよう案内するだけで、使用者にその意味をわかってもらえばよい。手の平がシステムが手の平の位置を検知できる範囲に近づいた時、８０９は手の平の下方に調整される。また、指親指でのパネルへのタッチ、パネル上の滑りを通じて選択を決め、メニューを決めるように設定してもよい。
【００２１】
親指６はメニューオプションの切り替えに使用されることができるが、即ち親指は滑り、クリックなどの方式を通じて、メニューのオプションを変えることができる。システムは８０１を表示して使用者の親指の操作を案内することができる。また手の平が左／右へ圧力を加えて異なった方向へメニューを切り替えるように設定することもできる。
【００２２】
人間の手は、多くの姿において、大範囲で移動するのに便利ではない。生物メニューを採用することで、メニューの姿は手の姿により調整でき、同時にオプションの弧度も手の弧度に合っているので、使用者は大範囲で手の平を移動する必要がなく、腕を回して指を移動すれば異なったオプションを選択することができる。オプションが多すぎた場合、親指を滑らせてオプションを切り替えることができる。一方、生物インターフェースは使用者に楽しい視覚的体験をもたらすことができる。
【００２３】
このように、１つの典型的な操作としては、使用者は中指８で操作対象を選択し、手の平１２をパネルに近づけ、腕をやや回して操作オプションを選択し、操作を完成する。操作全過程において、使用者の手は、パネルに１回近づき、オプション選択の時にクリックを１回行い、複数の操作を実際に同時に行ったので、従来の使用者が数回ものパネルクリック、パネル離しの操作と比べて、使用者のためにより流暢な操作体験をもたらしている。注意すべきなのは、オプション操作の時、指７，８，９，１０はいずれも、タッチまたは圧力増加の方式で相応のオプションを使用することができる。
【００２４】
本発明はまた、カバー選択の方式を提供したが、例えば、図２４，既ち区域６１または区域６２内の対象を選択する。カバー選択は普通、デフォルトの選択方式ではないが、籠罩方式で選択する必要があった時、親指を滑らせて選択タッチポイント下方の対象をカバー選択に切り替えてよい。また、手の平がパネルにタッチする／近づく時にカバー選択に切り替える、または「カバー選択に切り替えるか」のメッセージを与えるように設定することができる。
【００２５】
本発明はまた一種のアイコンを提供し、ユーザがこれに触れ、それに、異なる方向へアイコンを移動してアイコンの異なる機能を使用する。アイコン移動及び操作時時に、アイコンに異なる圧力を施し、例えば、アイコン使用時にアイコンにより大きな圧力を施すことによって、移動アイコンの操作と区分する。
【００２６】
生物インターフェース：
マルチタッチ環境で、より豊富な使用者の手の情報を提供した。本発明はこれらの情報を使用してインターフェースを最適化したが、それを生物インターフェースを呼ぶ。
【００２７】
システムが取得した幾つかの指の位置情報によってインターフェース様式を確定する。例えば、ウィンドウの位置、コントロールエリアの様式、アイコンの様式及び配列位置等を確定する。
【００２８】
生物インターフェースは、手を移動しない状況の下で、クリック操作のような一つの操作ステップだけで、異なるアイコンの異なる操作を執行できる。生物インターフェースのアイコンは、手の異なる指/手のひらの下側又はその付近の位置に現れる可能性がある。  異なるアイコンは手の異なる肢体の箇所と対応し、アイコンに触れずに、相応な肢体の特定な操作、例えば、スライド/クリック/押し等方式の方式でアイコンロゴの機能を触発しても良い。アイコンは相応な指の下側位置又は区域に対応しても良い。
【００２９】
異なるアイコンが異なる指と対応する場合、これが具体的にどちらの指であるか確定する必要がない。その代わりに、異なる指を区分するだけで良い。図４４、１７１、１７と１７２が三つの指のタッチ画像で、アイコン３８、３９と４０がそれらと一対一に対応する。例えば、３８が１７１のスライド操作と対応する。
【００３０】
使用者はある対象または区域を選択しまたはタッチすると、使用者の指の付近でファイルプロパティ、または操作用の各種のオプションなど対象の相応の情報を表示することができる。例えば、図２４，１５，１６はそれぞれ左手、右手の指であり、６１，６２は手の複数の肢体を頂点としてカバーした区域であり、１２，１１はそれぞれ左手、右手の手の平であり、５，６は左手、右手の親指である。例えば６１または６２でカバーして複数の対象を選択すると、１５または１６付近または下方または前端に選択対象の各種のプロパティ、または実施できる各種の操作のオプションを表示することができる。使用者は左手をパネルに置き、多重クリップボードのモードに切り替え、右手のタッチポイントでクリップ対象または貼り付けの位置を選択すると、６２はこのときのクリップボード内の複数の対象を表示することができる。例えば、右手のタッチポイントで順序に数枚の写真をクリックすると、写真はクリップボードに添付され、６２内にこの数枚の写真が積み重ねた様子が表示される。例えば、図２９では、使用者は複数の指を写真９０１に置くと、その他の指の下方にはプロパティ情報または写真に対する各種の操作のオプションが表示される。例えば、図１５では、使用者は指で１つのファイル３９をドラッグすると、その他の指の下方にはファイルのプロパティ情報４０，４１が表示される。４０，４１はまた「クリップ」、「貼り付け」など各種のファイル３９に関連するオプションを表示することもできる。
【００３１】
本発明は生物インターフェースを提供する。生物インターフェースに基づいたメニューは次ぎの１つまたは複数の特徴を有する：
１．生物インターフェースに基づいたメニューのオプションアイコンは弧形で配列されており、使用者の手の形状により、各オプションのサイズ、間隔、相対位置、メニューの形状などを含め、メニューのスタイルを設置しておくことができる。
２．親指操作に適した位置に、相応のGUIの操作区域があり、また手の平の操作を案内するGUI区がある。
３．使用者の手の姿によりメニューのパネルに対する姿、及びオプションの間の相対位置を調整することができる。
４．ある肢体と対応する。肢体対応の時、肢体付近で表示されないことができる。例えば、単一又は複数の機能又はアイコンが単一の特定指と対応する。
５．肢体下方付近の肢体が操作しやすい位置と対応する。
６．指の現れ後、指の操作しやすい位置に自動的に近づく。
７．手、手の平の位置が固定の時、指の小範囲での移動はメニューの変化を起こさない。
【００３２】
メニューは普通、メニューを呼び出す特定肢体が離れたとき、またはメニューにタッチポインがないト時にメニューが消えるまたは変化する、移動するなどのように設定され、使用者に流暢な体験をもたらしている。
【００３３】
しかし、使用者がメニューを操作する過程で、使用者の手は１つの全体であるので、特定肢体／タッチポイントの移動は回避できなく、往々にしてメニューの消え、変更、移動などの変化を触発する操作を行うことがある。このような問題を防止するために、使用者は一部の操作を行って自分のメニューを操作する意図を明確にし、システムは使用者が現在のメニューを操作することを知ると、一部のもともとメニューの変化を触発できる操作はメニュー変化を触発しなくなる。このような操作はメニュー決めと呼ぶ。類似の操作は選択決めもあり、即ちシステムに使用者が現在の選択対象を選択することを明確に知らせることで、対象を選択した肢体またはタッチポイントが離れてからも、現在の対象への選択を保持することができる。
【００３４】
使用者は普通、手の平がパネル所在平面に近づき／パネルを押し、親指がパネルを押し／パネルを滑るなどの操作で、メニューを決める／選択を決めることを示す。その他の特定の指にもこれらの機能を付与することができる。使用者はその他の指に自分で設定することができ、デフォルトとして中指で対象を選択し、人差し指がパネルで叩くまたは滑るとメニューを決める／選択を決めるように設定することができる。端末使用者は図２０に示されたタッチ命令エディタでユーザ定義を行うことができる。オプション決め／選択決めの触発用の操作は同時にオプション／制御区呼出の触発、オプション／制御区を触発し手の位置により姿を調整するなどにも使用できる。
【００３５】
例えば図３２は、生物メニューは手またはタッチポイントの位置により姿を調整する典型的な例であり、２，３，４，７，８，９はシステムが感知した使用者の指の位置であり、それらはパネルに対し異なった姿になった時、生物メニューは姿により調整されて、メニューが特定タッチポイントまたは指など肢体に対する相対位置が殆ど変わらないように保証される。さらに、システムがこれらの指のタッチ画像及び相互位置関係によって、具体にどれらの三つの指であるか判断でき、これで異なる機能のアイコンを表示できる。
【００３６】
例えば、前記を参照し、図３４は１つの生物メニューの実例である。図３５〜図４１，図４３はいずれも生物メニューの各種の実例である。オプションアイコンは弧形で配列されており、例えば、図３７，図３８では、生物メニューのオプションは指の正下方に表示され、また指の前端に表示されるが、そうすると、使用者にとって、アイコンははっきり見えることができ、遮られることがない。図３７，図３４などのようにアイコンが比較的多い場合、使用者は手の平をパネルに近づけ、親指を滑らせるなどの方式で選択決めまたはメニュー決めなどの操作を行うことができるが、その目的として、手の移動によるオプション変化または消えなどを防止し、使用者の手が小範囲で移動しメニューにおける異なったオプションを選択することができるようにする。
【００３７】
オプションが多くない場合、オプションアイコンを異なった指と対応させ、使用者がアイコンにタッチしなくて、指の滑り、クリックなどの操作だけで、指と対応するオプションを選択し使用できるように設定することもできる。親指で、手を移動しない前提で１つのアイコをクリックするのは比較的難しいので、親指で操作する必要があるオプションは往々にして、親指と対応し、使用者が親指を滑らせて相応のオプションを操作できるように設定される。例えば図４０では、図４０で示すように、指６、７、８、９、１０と１１が選んだある区域又は区域内の対象を覆った後、それぞれ指７、８、９及び１０と対応するアイコン３８、３９、４０、４１と８２６が現れ、アイコンが各指前方の位置に処する。制御区８２６は親指６と対応しており、使用者は親指６を滑らせて、選択８２６内の異なったオプションを選択することができる。８２６上側に二つのアイコンがあり、８２６上の異なるアイコンを選ぶことによって、３８、３９、４０と４１を異なる的アイコンに切り替えることができる。小指１０が元の場所でスクリーンを押したり、叩いたりし、  又矢印方向に沿って指を摺動するだけで、アイコン４１標識の機能を使用できる。一つの指が複数のアイコン／機能に対応しても良い。例えば、図１３で示すようなアイコン形式を採用しても良い。
【００３８】
もう一つの例では、図１５に示すように、ユーザが一つの区域又は対象を選定してから、五本の指の下又は付近に相応なアイコンが表示される例えば、ユーザがアイコンを活性化した後、スクリーンと接触するユーザのいくつかの指の下側に飽和度、輝度、カラーオフセットとコントラスト調節の四つのアイコンが表示される。カラーオフセットアイコンで、ユーザに、アイコンを上向き又は下向きでアイコン相応指を移動することによって、アイコンを使用するよう指示する。ユーザがカラーオフセットアイコンを下向きで移動した後、三つの指の下でのアイコンがそれぞれ赤色オフセット、緑色オフセットと黄色になり、調節に備える。
【００３９】
オプションは、使用者の指先又は指の下方の付近の区域と対応してもよい。例えば、図４３に示されたように、３８，３９，４０，４１などいくつかの滑り制御区はそれぞれ、各アイコンオプションと対応している。例えば、３８は３０，３１と対応しているので、タッチポイントが３８内で滑ると、３０，３１の間に選択を切り替え、システムは選択されたオプションをハイライトすることができる。
【００４０】
例えば、図３７では、システムは手の平の両側にアイコン８２２，８２３を表示して、手の平を案内して各種の操作をさせることができる。手の平が普通実施できる操作はパネルに近づくことである。８２２，８２３が異なったオプションを表示した場合、手の平が相応の方向に圧力を加えることでこの方向におけるアイコンが表示したオプションを選択する。例えば、右側に圧力を加えて、８２３を選択する。
【００４１】
例えば、図１３は、アイコンが特定肢体、例えば指に対する数種の位置である。そのうち１７は指の位置で、その他はアイコンである。使用者は異なった方向へ指を滑らせて、相応方向における機能を使用することができる。例えば、左上図では、指を右へ滑らせて、アイコン３１の機能を使用する。
オプションアイコンが指または指の下方の区域と対応する場合、オプションアイコンが使用者の指の付近に表示される必要がない。
【００４２】
生物メニューのアイコンは必ずしも使用者の手の付近に直接に現れない。メニューのアイコンがまず現れ、使用者の手がパネルに近づき、または一部の操作を行ったとき、メニューのアイコンが手の位置に近づけ、かつ自分の姿を調整するようでもよい。例えば、パネルにおけるアイコンはガラス塊のように、使用者がそれらを自由に移動することができる。使用者は親指を滑らせ、または手の平をパネルに近づけると、指の付近の一定範囲内、または手よりカバーされたアイコンは自動的に配列し、自分の位置を調整し、使用者の指の下方の操作しやすい位置に移動するなど、または自動的に異なる指に対応。即ちこれらのアイコンをオプションとして、１つの生物メニューを構成する。メニュー、制御区などはずっとパネルに表示されるが、特定なシステム動作が起こり、例えば相応の肢体がパネルに近づいたとき、メニューまたは制御区は使用者の指の操作しやすい位置に近づき、同時に使用者の肢体、特に指の位置の姿により、自分の姿と形状及びオプションの相対位置を調整し、使用者の操作を便利にする。
【００４３】
例えば図２７では、指７は比較的大きな面積でパネル８０３を滑り、メニュー２５１を呼び出すとともに、引き続き滑ってオプション８１２の内容を切り替えまたは選択することができる。選択されたオプションは、指でタッチされたオプションであってよく、指の滑りにつれてシステムが滑り方向により順次にハイライトして選択された相応のオプションであってもよい。それで、使用者はまずメニューまたは制御インターフェースを呼び出し、それから相応のオプションを選択する必要がなく、１つのステップだけで、メニューを呼び出し、相応のオプションを選択することができる。指の姿と滑り方向により、メニューの外観を調整し、オプションを指の滑り方向が所在の直線または曲線によって順次に配列することができる。例えば、図２８では、指は矢印に示された方向によって滑り、かつ図に示された姿と角度を呈した場合、メニュー２５１は、図２７から図２８に示されたスタイルに変わる。指が相応オプションを滑りまたは選択した場合、オプションは大きくなり、使用者がオプションの内容をはっきりと見えるようにし、使用者が力でパネルを押すなど方式でオプションの選択を確認するときに不注意な小範囲での指移動のためその他のオプションに切り替えられることを防止できる。指の滑りにつれてシステムが滑り方向によって順次に相応のオプションをハイライトして選択するときに、１つのオプションをハイライト後、使用者が小範囲で指を滑らせても同様にシステムが次ぎのオプションに切り替えられなく、ミス操作を防止すべきである。
【００４４】
図２２では、使用者の手または４本の指または４本の指の指先は矢印方向にそって滑り、メニュー８２５が現れ、指が引き続き滑り、順次に８１３、８１４、８１５、８１６オプションを選択する。親指はパネルに触れまたは触れなくてよいが、その他の指が滑るとき、親指は移動しなくまたはその他の方向へ滑ると、異なったメニュー８２５を呼び出す。選択されたオプションはハイライトで表示され、選択されなかったオプションは半透明で表示される。相応のオプションを選択後、使用者は手をパネルから直接に離すことができ、選択されたオプションが対応する機能は執行される。使用者は如何なるオプションを使用しない場合、如何なるオプションを選択しないまで引き続き指を滑らせることができる。または、使用者は異なった圧力でパネルを押して、この時に選択されたオプションを使用することができる。複数の指の位置が複数のオプションまたは対象と対応する場合には、選択されたオプションは使用者のある特定の指にちょうど対応したオプションである。例えば、時計の指針のように、使用者の中指は順次に異なったオプションをさす。図２５は１つの実例である。
【００４５】
さらに、その他の位置、例えば４本の指の付近または下方には、同時に選択したオプションのサブメニューを表示することができる。オプションは使用者の手の移動について一緒に移動でき、使用者の指の操作しやすい位置に始終保持され、指の付近のあるオプションを選択した場合、サブメニューは８２５に現れ、さらなるサブメニューは３８、３９、４０、４１に現れる。
生物インターフェースに触発して出る対象が必ずしも生物インターフェースで出る手アイコンではない。例えば図１６で示すように、右手の６、７、８、９、１０と１１が覆うことによって対象５１，５２，５３を選ぶと、左手の指下側で相応なアイコンが出る。
一つの区域又は複数の対象を選定する場合、システムは、予め設定された相応規則によって区域を複数のサブ区域に区分し、又は複数の対象を組に分けることができ、各サブ区域又は組は、色と文字等の方式で標識され、これと同時に、相応組のタッチ点周辺制御に備え、相応な標識及び色を表示することによって、ユーザに、相応なタッチ点に対応するコントロールエリア又は対象を注意する。図４５で示すように、５１と５２が二つの対象で、５３と５４が二つの区域に分けられる。３８、３９、４０と４１は、それぞれこれらと一対一に対応する。
【００４６】
リボン式メニューは操作されるにつれて曲がって形状が変わることができる。例えば、図１４に示されたように、１７１，１７２，１７３は３つの指のタッチポイントで、２３１，２３２，２３３はメニューにおけるオプションアイコンであり、指は滑ってアイコンを操作するが、例えば、アイコンが対応するパラメータ、例えばパネル輝度を操作する。
【００４７】
挿入操作と関連操作：
使用者は１つまたは複数の指でドキュメントのある位置またはある選択された内容を押すとともに、手書きペンでその他位置に書くと、書かれた内容は選択された位置のマークアップになる。使用者は同様に、システムを多重選択のモードに入らせることができるが、例えば、多重選択キーを押しながら、指で相応の内容または位置をクリックして選択し、その後手書きペンで書くと、書かれた内容は選択内容または位置のマークアップになる。ユーザは、同時に多段階の写真と文字に触れることができ、これらが、本発明で提起された方法によって二グループに分けられ、その中で、一つのグループがその他のグループの備考になる。
【００４８】
複数組対象の協同操作
本発明は各タッチポイント及び選択された区域または位置または対象のあいだの関係を確定する構造、特に各タッチポイント及びタッチポイントが選択または確定した区域または位置または対象への組分けの原則を提供した。使用者とプログラム設計者はこの構造により各タッチポイント及び選択または確定された区域または位置または対象のあいだの関係を定義して、操作情報を十分に利用し、使用者が比較的少ないステップで自分の操作意図を示し、操作体験を向上することができある。また操作効率を向上することができる。
【００４９】
各タッチポイント及び選択された区域または位置または対象のあいだの関係に使用されて、各タッチポイント及び選択された区域または位置または対象を組分けする情報は次ぎ及びその他のものを含む：
１、選択区域または位置または対象のタッチ物またはタッチ画像、特に手の異なった部位またはタッチ工具である。例えば、１本の指で対象をタッチして選択するか、それとも２本の指で対象をタッチして選択するか、それともタッチペンで対象をタッチして選択するか。
２、対象または区域または位置を選択するときに行う異なった操作である。例えば、１回クリックして選択された対象、２回クリックして選択された対象、選択枠をドラッグして選択された対象、画像で構成された輪郭にタッチして選択された対象、及び画像カバーにタッチして選択された対象は、異なった組に分けられる。
３、マルチタッチ環境において、１つまたは複数のタッチポイントで１つまたは複数の対象または区域または位置を選択または確定することができ、その後この１つまたは複数のタッチポイントがすべて確定または選択された対象を離さないように保持し、これらのタッチポイントが選択または確定した区域または位置または対象により、その後のその他のタッチポイントの機能及びその他タッチポイントより選択された対象が執行するまたは執行される操作の効果と位置を確定する。この方式はマルチタッチ協同操作と呼ぶ。マルチポイント協同操作の中で、ずっとタッチが保持されるその組のタッチにより確定された又は選ばれた対象を一組に区分する。
【００５０】
例えば、図４１で示すように、ユーザが右手指６、７、８、９、１０及び手のひらで１１覆う方式で対象５１、５２、５３を選び、指６、７、８、９、１０及び手のひら１１が全部スクリーンを外れない限り、５１、５２、５３の選択を保持できる。この時、その他の指、例えば、左手の指３でその他の対象／位置に触れ、又は１、２、３、４、５、１２で覆う方式でその他の対象／区域を選ぶと、５１、５２、５３及び選ばれたその他の対象／区域によって、異なる的操作を執行する。これと同時に、右手の指は、生物インターフェースを使用して、５１、５２と５３を操作できる。
【００５１】
これらの組み分け方式は、相互に協力して一緒に使用しても良い。「マルチタッチ協同操作」と一緒に使用すると、システムは、マルチ点タッチ協同操作によって、現在操作の複数の対象の間に関連が発生するのを知る。
【００５２】
さらに、システムは、タッチ点所在の手によって、タッチ点及びタッチ点により選ばれる対象に対して組分けを実施できる。幾らかの状況の下で、選ばれた又は確定された対象は、自分のタッチ点と異なる手の源しか関連付けることができない。例えば、操作される場合。
【００５３】
組分けは、一方対象又は区域をなる組に区分し、その他の一方としては、各組に確定の説明方式を与えることによって、プログラムが正しく且つ唯一の方式で特定の組を引用し、それに各組対象の間の関係及び執行される操作を設定する。
【００５４】
プログラム設計者は、各組の対象又は位置の間に異なる関係を付与できる。特にインタラクティブ操作及びインタラクティブデータ交換等の操作の場合。
【００５５】
異なる方式を使用し、特に異なるタッチ物で異なるタッチ点に対応し、これと同時に複数の位置、複数の区域、幾つかの対象を択ぶことによって、ユーザは、システムに、選ばれた複数対象の間のロジック関係を表し、システムは、対象タイプ及び対象間の関係によって、相応な操作を執行する。操作によりシステムに提供する情報のロジック関係の内容は、下記の一つの又は複数の内容を含むが、これらに限らない。
１．操作が合わせてどれらの対象及び区域に関与するか、
２．どれらの対象及び区域を一組に分けるか、
３．ユーザがどのタッチ物及びどの方法で各対象及び区域を選ぶか、
４．各対象及び区域に対してどのような操作を実行したか、それに、
５．各対象及び区域選択における前後順序。
【００５６】
各要素の異なりにより、異なる操作情報に対応する可能性がある。操作に参加する対象の組分けを確定した後、プログラム設定によって各組対象の間の関係及び互いに執行する操作を確定できる。システムは、各組対象タイプ/プロパティ及び各組対象の数量によって相互順序及び対象所在組を選ぶことができる。例えば、対象が二つの指によりクリックで選ばれる組で、又はマルチポイント協同操作中でずっとタッチが保持される組であり、各組対象の間の関係及び執行可能な操作を確定してから、相応な操作を直接に執行し、又は相応なオプションを出す。
【００５７】
同じオペレーティングシステムの中で、各組対象の関係に、一定の規範があるはず。例えば、一本の指により選ばれる対象を二本の指により選ばれる対象に移動する。マルチポイント協同操作の中で、まずタッチ点によりタッチ選択されたこの組の対象がこのご選択される対象の内容を読み取り、操作終了時に相変わらず選ばれる対象を全体的な操作執行の目的地とする。例えば、最終生成した文書を操作終了時に相変わらずタッチが保持される対象に保存し、選択の前後順序を考えない。即ち、各種の規則の間の優先順位は、高低の区分がある。但し、この関係が簡単操作のみにあり、特にコピーとペスト操作及び文書移動の操作にあり、複雑な操作で、操作終了時に一番可能なオプションを出してユーザ選択に備えること。
【００５８】
各組のタッチポイント及び選択された対象または区域または位置のあいだの関係は、次ぎ及びその他のものを含む：
１、そのうち１組のタッチポイントまたは選択した対象または区域または位置は、もう１組のタッチポイントまたは選択した区域または対象または位置の機能または執行される操作を制御する。
２、そのうち１組の選択された対象または区域はもう１つの対象または区域の情報を読み出す。
３、１組の区域の内容または対象の内容をもう１組の区域または対象に移動またはコピーする。
４、及びどの区域または位置を操作が発生する位置または操作の結果を挿入するまたは保存する位置とするか。
５、１組の対象ともう１組の対象との関連関係を確定する。
【００５９】
例えば、使用者は１つのタッチポインで１つの圧縮ソフトのアイコンまたはインターフェースをタッチし、圧縮ソフトをタッチするタッチポイントをパネルから離れないように保持しながら、もう１つの指で圧縮予定のファイルまたはフォルダをクリックし、２つの指で圧縮ファイルを保存するフォルダをクリックし、その後圧縮ソフトアイコンをタッチするタッチポイントをパネルから離させ、システムに操作終了を知らせ、システムは圧縮ソフトのインターフェースを開くまたは直接にいくつかの常用オプションのアイコンを与えるまたは直接に操作を執行する。
【００６０】
例えば、ユーザがずっと後方勤務車に触れる場合、ユーザのその他の指により接触されるすべてのその他の対象に対して皆操作を実施し、ユーザが後方勤務車に触れなくなる場合、接触される対象を補給しない。
このプロセスを逆にしても良い。即ち、対象を選んだ後、対象に対するタッチを保持する前提の下で後方勤務車を選ぶ。先に選ばれる対象が積極的に後で選ばれる対象に近づくよう設定できる。
例２：ユーザは１本の指でフォルダＡを選択し、その指を動かさずに、別の指を用いてその他のフォルダまたはドキュメントを選択し、前記選択されたその他のフォルダまたはドキュメントはフォルダＡにコピーされる。
【００６１】
マルチポイント協同操作の中で、ずっとタッチが保持されるその組のタッチにより確定された又は選ばれた対象を一組に区分し、この組の対象を対象Ａと称する。この時、その他のタッチ点が下記の操作を実行できる。
１．その他の一組又は複数組の対象を選択・操作でき、これらを対象Ｂと称する。
２．対象Ａと関連付け、対象Ａに対して操作を行う。
【００６２】
画像に触れることによって操作区域を確定してから、制御用タッチ点を介して異なる部分のパラメータを制御する。
【００６３】
片手で一つの対象を選定し、二手はこの対象を同時に操作する。図１８で示すように、１６指、６親指と１１手のひらを介して、３Ｄ物体６１のタッチパネル所在平面又は曲面での投影を制御し、１６、１１と６の圧力を通じて、６１の色／厚さの一つを制御し、これと同時に、１５、５と１２を介してスクリーンを押し、スクリーン上のスライド等の事件が６１のその他のパラメータ、例えば、ｚ軸座標上の座標値、厚さ及び座標軸又はある参照物との角度等を制御する。これで、両手で図形６１のスペース位置及び形状を制御する。又６１に対応する機能等をさらに制御できる。例えば、６１が一つのブラシであれば、１５がブラシをかける色濃度を制御でき、１６が、異なる位置上でブラシをかける色濃度を制御でき、例えば、１６のある指によるスクリーンに対する圧力が増えると、それに対応する部分によりブラシをかける色濃度が増える。
【００６４】
ユーザが手を一枚の写真に押してから、その他の位置でも一枚の同じような写真が出て、これと同時に、実時間で上側で表示し、異なる位置タッチ圧力情報を含むユーザのタッチ画像を表示し、異なる圧力を異なる効果で表示することによって、ユーザのプレビューに備える。
【００６５】
圧力に相応な機能、例えば、フィルタ効果と物理材質等を付与でき、圧力が大きくなると、区域処理効果が著しくなる。又は異なる圧力によって圧着された区域を複数の区域に区分することができる。例えば、３Ｄ物体を塑造する場合、異なるタッチ圧力によって、圧着された区域を複数の区域に分け、圧力の大きさによって漸進的変化色を施す。その他の位置に一つの色が漸進的なオプションリストを表示し、オプションリストの各位置がそれぞれ色の同じである圧着された区域と対応する。タッチ点は、その上のスライドを通じて、異なる区域のパラメータを制御する。又はその上に異なる効果を施して異なる区域に対応する。
【００６６】
生物インターフェースは、マルチポイントタッチと協同に操作し、協力で使用できる。
【００６７】
例えば、ユーザが一組のタッチ点で一枚の写真を選定してから、その他の組のタッチ点で複製写真の位置を確定する。これと同時に、写真複製位置のマルチタッチを頂点と確定し、画像に対してねじ曲がりを行う。図１８の中で、１５、５と１２が源写真選定に備え、１６と６が写真複製位置確定に備え、それに１６と６と頂点として写真の形状及び寸法を調整する。
【００６８】
例２で、一回で１５、５と１２タッチ点を使用して一段落の文字又は複数枚の写真を選び、タッチを保持し、１６と６で写真複製位置を確定し、これと同時に、１６と６の相対位置を変更することによって、異なる圧力を施し、写真又は文字の配列レイアウトを切り替え、それに各種の効果を追加する。例えば、文字及び写真が立体に見えるようにし、これと同時にいずれか一の方向へ傾斜するようにする。１６と６がスクリーンに触れる時、１５、５と１２は、写真及び文字に対して各種の操作を行っても操作終了を致さない可能性がある。１５、５と１２付近にこれと対応する生物インターフェースが出る場合、１５、５と１２が圧力と前後滑動等により各種の機能を使用するよう設定でき、又は１６と６がスクリーンと接触する場合、１５、５と１２がスクリーンから離れる可能性があると設定できる。アイコンをクリックする等で文字及び写真に対して操作を行い、１６と６が１５、５と１２より遅くスクリーンを離れてからこそ、始めて複製操作を執行できる。
【００６９】
一つの区域又は複数の対象を選定する場合、システムは、予め設定された相応規則によって区域を複数のサブ区域に区分し、又は複数の対象を組に分けることができ、各サブ区域又は組は、色と文字等の方式で標識され、これと同時に、相応組のタッチ点周辺制御に備え、相応な標識及び色を表示することによって、ユーザに、相応なタッチ点に対応するコントロールエリア又は対象を注意する。図４５で示すように、５１と５２が二つの対象で、５３と５４が二つの区域に分けられる。３８、３９、４０と４１は、それぞれこれらと一対一に対応する。
【００７０】
１２、タッチ画像により生成された図形によって、特に３Ｄ図形によって、それに指で物体の姿及び位置をコントロールする一種の方法である。
プログラムは、手の各部分圧力によって生成された物体の相応部分の厚さを確定したり、又はＺ軸方向上の高さを確定したりすることができる。例えば、ユーザは、右手のひらの圧力を増加することによって、生成された３Ｄ物体の右のＺ軸方向での高さを低減することができる。
【００７１】
図１９の中で、ユーザは、右手の指１６、親指６、及び全体的な手のひらとｘ軸と形成した角度によって、システムにより左手のタッチ画像を介して生成された手のひらのスペースでの姿をコントロールすることができる。右手のスクリーン上の回転を通じて、ユーザ左手に対するｙ軸を軸とする仮想手のひらの回転角度をコントロールし、親指を介して、ユーザ左手に対するｘ軸を軸とするこれの回転角度をコントロールし、その他の四つの指を介して、スクリーン所在平面と垂直するｚ軸を沿うこれの回転角度をコントロールする。
【００７２】
生成した仮想物体は、必ずしも一つの仮想的な手形物体ではなく、一定パラメータによって、その他の形状の物体に変形しても良い。