(57)【要約】【課題】空間上のジェスチャーを利用した端末の制御方法及びその端末を提供する。【解決手段】本発明による端末の制御方法は、端末に近接して任意の方向に移動する使用者ジェスチャーを感知する段階と、使用者ジェスチャーの移動方向、移動速度、及び移動距離のうちの少なくとも１つを判断する段階と、判断結果によって現在作動中のアプリケーションに対する制御動作を行う段階と、を有する。【選択図】図１
2013235588.tif 000002
【特許請求の範囲】
【請求項１】
端末に近接して任意の方向に移動する使用者ジェスチャーを感知する段階と、
前記使用者ジェスチャーの移動方向、移動速度、及び移動距離のうちの少なくとも１つを判断する段階と、
前記判断結果によって現在作動中のアプリケーションに対する制御動作を行う段階と、を有することを特徴とする端末の制御方法。
【請求項２】
前記使用者ジェスチャーは、
入力を発生させるためのオブジェクトが前記端末から予め設定された距離内に接近し、前記予め設定された距離内で前記任意の方向に移動するジェスチャーで構成されることを特徴とする請求項１に記載の端末の制御方法。
【請求項３】
前記使用者ジェスチャーは、
左右又は上下に対する単方向移動、単方向スイープ、往復移動、両方向移動、及び振り（ｗａｖｅ）のうちのいずれか１つであることを特徴とする請求項１に記載の端末の制御方法。
【請求項４】
前記制御動作を行う段階は、
前記移動方向に電子ブックのページをめくる段階を含むことを特徴とする請求項１に記載の端末の制御方法。
【請求項５】
前記電子ブックのページをめくる段階は、
前記使用者ジェスチャーの移動速度及び移動距離のうちの少なくとも１つに基づいて複数のページ又は少なくとも１つのチャプターをめくる段階を含むことを特徴とする請求項４に記載の端末の制御方法。
【請求項６】
前記制御動作を行う段階は、
前記使用者ジェスチャーに基づいてメディアファイルの再生を制御する段階を含むことを特徴とする請求項１に記載の端末の制御方法。
【請求項７】
前記メディアファイルの再生を制御する段階は、
前記移動方向、前記移動速度、及び前記移動距離のうちの少なくとも１つに対応して前のメディアファイル又は次のメディアファイルの再生、ボリュームアップ又はダウン、再生の開始又は停止、及びシャッフル機能のうちの少なくとも１つの動作を行う段階を含むことを特徴とする請求項６に記載の端末の制御方法。
【請求項８】
前記制御動作を行う段階は、
前記移動方向、前記移動速度、及び前記移動距離のうちの少なくとも１つに対応して表示部上に表示された前記アプリケーションのコンテンツを上、下、左、又は右に移動、拡大／縮小、コピー、印刷、検索動作のうちの少なくとも１つを行う段階を含むことを特徴とする請求項１に記載の端末の制御方法。
【請求項９】
前記コンテンツは、
ウェプページ、リスト、イメージ、電子ブックのうちの少なくとも１つを含むことを特徴とする請求項８に記載の端末の制御方法。
【請求項１０】
前記制御動作を行う段階は、
表示部上に表示された画面に前記使用者ジェスチャーに対応する効果を適用するように制御する段階を含むことを特徴とする請求項１に記載の端末の制御方法。
【請求項１１】
前記効果を適用するように制御する段階は、
前記移動方向、前記移動速度、及び前記移動距離のうちの少なくとも１つに対応して波効果、水滴効果、風効果、色相変化効果、画面切替え効果のうちの少なくとも１つを適用する段階を含むことを特徴とする請求項１０に記載の端末の制御方法。
【請求項１２】
前記表示された画面は、
待機画面、ロック画面、使用者インターフェース画面のうちの少なくとも１つを含むことを特徴とする請求項１０に記載の端末の制御方法。
【請求項１３】
前記制御動作を行う段階は、
前記使用者ジェスチャーに対応してバックグラウンドで作動中のウェブブラウザのタブをナビゲーションする動作を行う段階を含むことを特徴とする請求項１に記載の端末の制御方法。
【請求項１４】
前記制御動作を行う段階は、
前記使用者ジェスチャーに対応してウェブページのタブ又は現在作動中のアプリケーション間の切替えを行う段階を含むことを特徴とする請求項１に記載の端末の制御方法。
【請求項１５】
前記切替えを行う段階は、
前記ウェブページ又は現在作動中のアプリケーションのリスト中で前記移動方向に対応するタブ又はバックグラウンドアプリケーションを判断する段階と、
前記判断結果によって、前記移動方向に対応するタブ又はバックグラウンドアプリケーションが画面上に表示されるように切替えを行う段階と、を含むことを特徴とする請求項１４に記載の端末の制御方法。
【請求項１６】
端末に近接して任意の方向に移動する使用者ジェスチャーを感知するセンサー部と、
前記使用者ジェスチャーの移動方向、移動速度、及び移動距離のうちの少なくとも１つを判断し、前記判断結果によって現在作動中のアプリケーションに対する制御動作を行う制御部と、
前記制御部の制御によって前記アプリケーションの画面を表示する表示部と、を備えることを特徴とする端末。
【請求項１７】
前記使用者ジェスチャーは、
入力を発生させるためのオブジェクトが前記端末から予め設定された距離内に接近し、前記予め設定された距離内で前記任意の方向に移動するジェスチャーで構成されることを特徴とする請求項１６に記載の端末。
【請求項１８】
前記制御部は、
前記使用者ジェスチャーに対応して、ページめくり、再生制御、コンテンツ移動、ウェブブラウザのタブ切替え、アプリケーション切替え、及び表示された画面上での任意の効果適用のうちの少なくとも１つの制御動作を行うことを特徴とする請求項１６に記載の端末。
【請求項１９】
前記センサー部は、
近接センサー、赤外線センサー、及びカメラセンサーのうちの少なくとも１つを用いて前記使用者ジェスチャーを感知し、該感知された使用者ジェスチャーに対する入力信号を生成して前記制御部に伝達することを特徴とする請求項１６に記載の端末。
【請求項２０】
前記使用者ジェスチャーは、
左右又は上下に対する単方向移動、単方向スイープ、往復移動、両方向移動、ホバリング（ｈｏｖｅｒｉｎｇ）、及び振り（ｗａｖｅ）のうちのいずれか１つであることを特徴とする請求項１６に記載の端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空間上の相互作用に基づく端末の制御方法及びその端末に関し、より詳細には、多様な空間ジェスチャーを認識し、認識された空間ジェスチャーに対応する動作を相互作用的に行う端末の制御方法及びその端末に関する。
【背景技術】
【０００２】
近年、スマート電子器機の発達で、研究と開発は使用者が端末を便利に制御するようにするための多様な相互作用技術に集中している。
【０００３】
従来技術によると、端末制御のための相互作用としては、端末のタッチ入力又は運動状態に基づいて端末の動作を制御する技術、或いは手の平を用いた手の動作を用いて端末を制御する技術などがある。
【０００４】
従って、多様な空間認識ジェスチャーを認識し、認識された空間認識ジェスチャーに対応する入力を相互作用的に行う端末とこれを制御する方法に対する必要性が存在する。
【０００５】
上記内容は本発明の理解を助けるための背景情報としてのみ提供される。上記内容のうちのいずれかが本発明に関する先行技術として適用可能であるか否かについてどのような決定も判断もなされない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、空間上の多様なジェスチャーを認識し、これに対応する相互作用に基づいて端末の機能を制御する端末の制御方法及びその端末を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するためになされた本発明の一態様による端末の制御方法は、端末に近接して任意の方向に移動するようにオブジェクトを動かす使用者ジェスチャーを感知する段階と、前記使用者ジェスチャーの移動方向、移動速度、及び移動距離のうちの少なくとも１つを判断する段階と、前記判断結果によって現在作動中のアプリケーションに対応する制御動作を行う段階と、を有する。
【０００８】
上記目的を達成するためになされた本発明の一態様による端末は、端末に近接して任意の方向に移動するようにオブジェクトを動かす使用者ジェスチャーを感知するセンサー部と、前記使用者ジェスチャーの移動方向、移動速度、及び移動距離のうちの少なくとも１つを判断し、前記判断結果によって現在作動中のアプリケーションに対応する制御動作を行う制御部と、前記制御部の制御によって前記アプリケーションの遂行画面を表示する表示部と、を備える。
【０００９】
本発明の他の態様による自動車内で端末を制御する方法は、端末の運動状態及び車両の運動状態のうちの少なくとも１つによって運転モードを始める段階と、前記端末が運転モードにある時に該端末に近接した使用者ジェスチャーを感知する段階と、前記端末が運転モードにある時に感知された使用者ジェスチャーに対応する機能を遂行する段階と、を有する。
【００１０】
本発明の他の態様による端末は、端末に近接して特定方向に動く使用者ジェスチャーを感知するセンサー部と、前記端末の運動状態及び車両の運動状態のうちの少なくとも１つに基づいて運転モードを開始し、該運転モードでセンサー部によって前記端末に近接した使用者ジェスチャーが感知されると、前記使用者ジェスチャーに対応する機能を行う制御部と、前記制御部の制御によって機能の遂行結果を表示する表示部と、を備える。
【００１１】
本発明の他の態様による端末を制御する方法は、端末の状態によって特定動作モードに進入する段階と、前記特定動作モードで端末に近接した使用者ジェスチャーを感知する段階と、前記使用者ジェスチャーに応答して特定動作モードに連関する情報を表示する段階と、を有する。
【００１２】
本発明の他の態様による端末は、端末に近接した使用者ジェスチャーを感知するセンサー部と、情報を表示する表示部と、前記端末の状態によって特定動作モードに進入し、前記特定動作モードでセンサー部を介して使用者ジェスチャーが感知されると、前記使用者ジェスチャーに応答して特定動作モードに対応する動作を表示するように表示部を制御する制御部と、を備える。
【００１３】
本発明の他の態様による端末を制御する方法は、端末に近接した使用者ジェスチャーを感知する段階と、前記使用者ジェスチャーの種類を判断する段階と、前記使用者ジェスチャーによる端末の制御動作を行う段階と、を有する。
【００１４】
本発明の他の態様による端末は、端末に近接した使用者ジェスチャーを感知するセンサー部と、前記使用者ジェスチャーの種類を判断し、前記使用者ジェスチャーによる端末の制御動作を行う制御部と、前記制御部の制御結果を表示する表示部と、を備える。
【発明の効果】
【００１５】
本発明による端末の制御方法及びその端末によれば、空間上のジェスチャーを用いて使用者がより便利で且つ直観的に端末を制御することができる。
また、本発明による端末の制御方法及びその端末によれば、手袋を着用したり手に異物がついたりした場合など、端末にタッチ入力ができない場合にも、空間上のジェスチャーを用いて効率的に端末を制御することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態による空間上のジェスチャーを用いて端末を制御する方法を示したフローチャートである。
【図２】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図３】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図４】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図５】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図６】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図７】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図８】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図９】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図１０】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図１１】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図１２】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図１３】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図１４】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図１５】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図１６】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図１７】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図１８】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図１９】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図２０】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図２１】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図２２】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図２３】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図２４】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図２５】本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。
【図２６】空間上の相互作用セットの一実施例を示した図である。
【図２７】本発明の第１実施例による端末制御方法を示した図である。
【図２８】本発明の第２実施例による端末制御方法を示した図である。
【図２９】本発明の第３実施例による端末制御方法を示した図である。
【図３０】本発明の第４実施例による端末制御方法を示した図である。
【図３１】本発明の第５実施例による端末制御方法を示した図である。
【図３２】本発明の第６実施例による端末制御方法を示した図である。
【図３３】本発明の第７実施例による端末制御方法を示した図である。
【図３４】本発明の第８実施例による端末制御方法を示した図である。
【図３５】本発明の第９実施例による端末制御方法を示した図である。
【図３６】本発明の一実施形態による端末の構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
本発明は、スマートフォン、携帯端末、移動端末、個人情報端末（ＰＤＡ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ  Ｍｕｌｔｉｍｅｄｉａ  Ｐｌａｙｅｒ）端末、ノート型パソコン、タブレットコンピューター、ＰＣ、ワイブロ（Ｗｉｂｒｏ）端末、デジタルカメラ、ゲームコンソール、ＭＰ３プレーヤー、ハンドヘルド電子ブック、ナビゲーション、ＨＤＴＶなどの一般的な電子端末だけではなく、空間上のジェスチャーを感知することができる全ての装置又はサービスのために適用される。
【００１８】
本明細書で用いる技術的用語は、単に特定の実施例を説明するために用いたものであって、本発明の思想を限定しようとする意図はないことに留意すべきである。また、本明細書で用いる技術的用語は、本明細書で特別に他の意味に定義しない限り、本発明が属する分野で通常の知識を有する者にとって一般的に理解される意味に解釈しなければならない。なお、過度に包括的な意味に解釈したり、過度に縮小された意味に解釈したりしてはならない。
【００１９】
また、本明細書で用いる単数の表現は、文脈上明白に異なるように意味しない限り、複数の表現を含む。本明細書において、「構成される」又は「含む」などの用語は、明細書上に記載した多くの構成要素、或いは多くの段階を必ずしも共に含むと解釈してはならない。
【００２０】
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
【００２１】
図１は、本発明の一実施形態による空間上のジェスチャーを用いて端末を制御する方法を示したフローチャートである。
【００２２】
図１を参照すると、本実施形態による端末制御方法は以下のような手順から成る。
【００２３】
先ず、端末は空間上のジェスチャーを感知する（ステップＳ１１０）。
【００２４】
空間上のジェスチャーは使用者の手（指を含む）などの入力手段によって形成される。
【００２５】
端末は、カメラを介して空間上のジェスチャーに対する映像入力を感知したり、近接センサーを用いて端末に近接する入力手段のジェスチャーを感知したりする。端末は複数の空間上のジェスチャーを同時に又は順次に感知する。
【００２６】
また、端末は空間上のジェスチャーと共にタッチ入力を感知する。端末は空間上のジェスチャーとタッチ入力を同時に又は順次に感知する。また、端末はタッチ入力が持続する間の空間上のジェスチャーを感知することもできる。
【００２７】
次に、端末は感知された空間上のジェスチャーを分析する（ステップＳ１２０）。
【００２８】
端末は入力された映像を分析したり近接センサーを用いて空間上のジェスチャーを感知したりする。端末は、入力手段が１つ以上の方向を向いたり任意の形態を形成したりする動き（掃いてから捲る、スイープ等に命名する）、動きの速度、動きの長さ、入力手段の模様（例えば、手又は指の模様、形態）又は入力手段が接近する１つ以上の座標、接近速度、接近距離などを分析する。
【００２９】
入力手段が手の場合を例えると、端末が感知することができる多様な空間上のジェスチャーは、タップ（手を前に下げてから上げる）、掃く（手を上／下／左／右方向に掃き出すように移動する）、振る（水平又は垂直に振る）、回す（時計方向、反時計方向）、握り締める（手を伸ばしてから拳を握る）、抓る（親指と人差し指を窄める）、接近、追跡（手の動きをリアルタイムで追跡する）、覆う（手で端末を覆った状態維持）、押す（手を端末方向に押す）、両手押し、両手を開く、両手回転、両手集め、タッチ後に掃く、近接する、のうちの何れかの１つである。上述したジェスチャーは、図２〜図２５に簡略に示す。
【００３０】
図２〜２５は、本発明による端末が感知することができる多様な空間上のジェスチャーを示した図であり、空間上の相互作用に基づく端末の制御方法で用いるために定義された空間ジェスチャーを示した図である。
【００３１】
図２を参照すると、空間上のジェスチャーはタッチレスタップ（ｔｏｕｃｈｌｅｓｓ  ｔａｐ）である。例えば、タッチレスタップは画面に近接して手を動かす使用者の動作である。タッチレスタップは画面の特定の望む部分に近接して手を動かす使用者の動作である。本実施例よると、端末は使用者の手が画面に近接して移動することを判断することによってタッチレスタップを感知する。例えば、端末は、感知された使用者の手の座標を比べて、感知された手の座標が変わる場合にタッチレスタップと判断する．
【００３２】
図３を参照すると、空間上のジェスチャーはタッチレススイープ（ｔｏｕｃｈｌｅｓｓ  ｓｗｅｅｐ）である。タッチレススイープは、上、下、左、右のうちの少なくとも一方向に対するスイープモーションである。例えば、タッチレススイープは、使用者の手の平表面が実質的にスクリーン表面に垂直するように配置され、使用者の手が上、下、左、右のうちの少なくとも一方向に移動する動作である。本実施例よると、端末は、使用者の手が予め定義された設定（例えば、手の平表面が実質的にスクリーン表面に垂直）に対応するように配置されていると判断し、感知された使用者の手が画面に対応して移動（例えば、画面を横切る）することを感知することによってタッチレススイープを感知する。例えば、端末は、感知された使用者の手の座標を比べ、手の座標が変化すると、タッチレススイープが感知されたと判断する。
【００３３】
図４を参照すると、空間上のジェスチャーはタッチレスホリゾンタルウェーブ（ｔｏｕｃｈｌｅｓｓ  ｈｏｒｉｚｏｎｔａｌ  ｗａｖｅ）である。タッチレスホリゾンタルウェーブは画面の一方から他の一方に多様に移動する使用者の手の動きである。例えば、使用者の手の動きは端末の画面の左側から画面の右側へ移動する動作である。使用者の手の動きはタッチレスホリゾンタルウェーブのために繰り返される。例えば、タッチレスホリゾンタルウェーブは使用者の手の平が画面に対向するように（例えば、実質的に平行）伸ばした使用者の手の動作を含む。本実施例において、端末は、使用者の手が予め定義された設定（例えば、手の平表面が画面と実質的に平行）に対応するように配置され、使用者の手が画面に対応して移動すること（例えば、左側から右側へ、右側から左側へなど）を感知することによってタッチレスホリゾンタルウェーブを感知する。例えば、端末は、感知された使用者の手の座標を比べ、使用者の手の座標が変化すると、タッチレスホリゾンタルウェーブが感知されたと判断する。
【００３４】
図５を参照すると、空間上のジェスチャーはタッチレスバーティカルウェーブ（ｔｏｕｃｈｌｅｓｓ  ｖｅｒｔｉｃａｌ  ｗａｖｅ）である。タッチレスバーティカルウェーブは端末の一方から反対の方へ画面を横切る多様な使用者の手の動きである。例えば、使用者の手の動きは画面下端から画面上端への動きである。使用者の手の動きはタッチレスバーティカルウェーブのために繰り返される。一例として、タッチレスバーティカルウェーブは、使用者の手の平が画面に対向するように（例えば、実質的に平行に）配置され、使用者の手が端末の上端と下端の間に位置し、上端と下端の間を移動する動きである。本実施例よると、端末は、使用者の手が予め定義された設定（例えば、手の平の表面が画面と実質的に平行）に対応して配置されているか否かを判断し、使用者の手（例えば、使用者の指が伸ばされた状態）が画面を基準に移動すること（例えば、上方から下方へ、下方から上方へ、等々）を感知する。例えば、端末は、感知された使用者の手（例えば、使用者の指を伸ばした状態）に対する座標を比べ、使用者の手の座標が変化すると、タッチレスバーティカルウェーブが感知されたと判断する。
【００３５】
図６を参照すると、空間上のジェスチャーはタッチレスカバー（ｔｏｕｃｈｌｅｓｓ  ｃｏｖｅｒ）である。例えば、タッチレスカバーは画面を覆う使用者の手の動きに対応する。タッチレスカバーは画面に実質的に平行して実質的に画面を覆うように手の平が画面に向けている使用者の手の動作を含む。タッチレスカバーを行う間、使用者の指は伸びている。本実施例よると、端末は、使用者の手が予め定義された設定（例えば、手の平表面が実質的にスクリーン表面に平行）に対応するように配置されているか否かを判断し、使用者の手が画面に対応して移動（例えば、全体スクリーンを実質的に覆うように）することを判断することによって、タッチレスカバーを感知する。例えば、端末は、感知された使用者の手の座標を比べ、使用者の手の座標変化によってタッチレスカバーを感知する。例えば、タッチレスカバーは使用者の手が画面に近接するように移動して画面全体を実質的に覆う動作を含む。また他の例として、タッチレスカバーは実質的に画面全体を覆うようにその面に沿って移動する使用者の手の動作を含む。
【００３６】
図７を参照すると、空間上のジェスチャーはタッチレスパームプッシュ（ｔｏｕｃｈｌｅｓｓ  ｐａｌｍ  ｐｕｓｈ）である。例えば、タッチレスパームプッシュは画面の近くに移動する使用者の手の動作を含む。タッチレスパームプッシュは使用者の指を伸ばして手の平を画面に向ける動作（例えば、手の平表面が実質的に画面に平行）を含む。本実施例によると、端末は、使用者の手が予め定義された設定（例えば、手の平の表面がスクリーン面と略平行になるように）に対応して配置されているか否かを判断し、使用者の手が画面に対応して移動（例えば、使用者の手の平が画面の近くに移動）することを判断することによってタッチレスパームプッシュを感知する。例えば、端末は、感知された使用者の手の座標を比べて、使用者の手の座標が変化すると、タッチレスパームプッシュが感知されたと判断する。
【００３７】
図８を参照すると、空間上のジェスチャーは時計方向のタッチレスサークリング（ｔｏｕｃｈｌｅｓｓ  ｃｉｒｃｌｉｎｇ）である。タッチレスサークリングは時計方向に使用者の手の部分を動かす動作を含む。例えば、タッチレスサークリングは画面を基準に時計方向に手の平を移動することを含む。また他の例として、タッチレスサークリングは画面に対して時計方向に手の平を移動させる動作を含む。他の実施例で、端末は、使用者の手が予め定義された設定によって配置（例えば、手の平の表面がスクリーン面と実質的に平行）されているか否かを判断し、使用者の手が画面に相対的に移動（例えば、使用者の手の少なくとも一部が時計方向に移動）することを判断してタッチレスサークリングを感知する。例えば、端末は、感知された使用者の手（例えば、手の平及び／又は少なくとも１つの指など）の座標を比べて、使用者の手（例えば、手の平、少なくとも１つの指及び／又はそれ等）の座標が時計方向に変化すると、タッチレスサークリングが感知されたと判断する。
【００３８】
図９を参照すると、空間上のジェスチャーは反時計方向のタッチレスサークリングである。タッチレスサークリングは反時計方向に使用者の手の部分を移動する動作を含む。例えば、タッチレスサークリングは画面に対応して反時計方向に手の平を移動することを含む。また他の例として、タッチレスサークリングは反時計方向に少なくとも１つの指を移動することを含む。本実施例において、端末は、使用者の手の少なくとも一部が予め定義された設定（例えば、手の平の表面がスクリーン面と実質的に平行）に対応して配置されているか否かを判断し、感知された手が画面に対応して移動（例えば、使用者の手が反時計方向に移動）することを判断してタッチレスサークリングを感知する。例えば、端末は、感知された使用者の手（例えば、手の平及び／又は少なくとも１つの指など）の座標を比べて、使用者の手（例えば、手の平、少なくとも１つの指及び／又はそれ等）の座標が反時計方向に変化すると、タッチレスサークリングが感知されたと判断する。
【００３９】
図１０を参照すると、空間上のジェスチャーはタッチレスグラブ（ｔｏｕｃｈｌｅｓｓ  ｇｒａｂ）である。タッチレスグラブは、使用者の指を伸ばした状態で、親指に接近するとか拳を握る状態を含む。本実施例において、端末は、使用者の手が予め定義された設定（例えば、使用者の指が手の平又は親指に対して実質的に開かれる）に対応して配置されているか否かを判断し、使用者の手が画面に対応して移動（例えば、使用者の指が親指又は手の平のうちの少なくとも１つに向けて移動し、例えば拳を形成するか又は形成し始めるようにする）することを判断してタッチレスグラブを感知する。例えば、端末は、感知された使用者の手（例えば、手の平、少なくとも１つの指及び／又はそれ等）の座標を比べて、使用者の手の座標が変化すると、タッチレスグラブが感知されたと判断する。
【００４０】
図１１を参照すると、空間上のジェスチャーはタッチレスピンチ（ｔｏｕｃｈｌｅｓｓ  ｐｉｎｃｈ）である。タッチレスピンチは、少なくとも１つの指を伸ばした状態で、少なくとも１つの指が実質的に親指に接触する状態で動く動作を含む。例えば、タッチレスピンチは伸ばした１つの指と伸ばした親指が互いに向けて動く動作を含む。本実施例によると、端末は、使用者の手が予め定義された設定（例えば、使用者の指を手の平及び／又は親指に対応して伸ばした状態）に対応して配置されているか否かを判断し、使用者の手が画面に対応して移動（例えば、少なくとも１つの伸ばした指を親指に向けて移動）することを判断してタッチレスピンチを感知する。例えば、端末は、感知された使用者の手（例えば、手の平、少なくとも１つの指、親指、及び／又はそれ等）の座標を比べて、使用者の手の座標が変化すると、タッチレスピンチが感知されたと判断する。
【００４１】
図１２を参照すると、空間上のジェスチャーはタッチレスアプローチ（ｔｏｕｃｈｌｅｓｓ  ａｐｐｒｏａｃｈ）である。例えば、タッチレスアプローチは画面の近くに移動する使用者の手の動作を含む。タッチレスアプローチは使用者の指が伸ばされて手の平が画面に向かう動作（例えば、手の平表面がスクリーンに実質的に平行）を含む。本実施例によると、端末は、使用者の手が予め定義された設定（例えば、手の平の表面がスクリーン面と実質的に平行）に対応して配置されているか否かを判断し、使用者の手が画面に相対的に移動すること（例えば、使用者の手が画面に近くなるように移動）を判断してタッチレスアプローチを感知する。例えば、端末は、感知された使用者の手（例えば、使用者の手の平）の座標を比べて、使用者の手の座標が変化すると、タッチレスアプローチが感知されたと判断する。一実施例によると、端末は、画面方向に移動する画面に垂直な軸による距離に基づいてタッチレスパームプッシュとタッチレスアプローチを区分する。例えば、タッチレスアプローチは、タッチレスパームプッシュより、初期に手が画面からより遠く配置される。
【００４２】
図１３を参照すると、空間上のジェスチャーはタッチレストラッキング（ｔｏｕｃｈｌｅｓｓ  ｔｒａｃｋｉｎｇ）である。例えば、タッチレストラッキングは画面を横切って伸ばした指を移動させる動作を含む。タッチレストラッキングは画面を横切る任意の経路に沿って指を移動させる動作を含む。本実施例によると、端末は、使用者の手が予め定義された設定（例えば、使用者の指のうちの少なくとも１つを使用者の手の平及び／又は親指に対して実質的に伸ばす）に対応して配置されているか否かを判断し、使用者の手が画面に相対的に移動（例えば、少なくとも１つの伸ばした指がスクリーンを横切って移動）することを判断してタッチレストラッキングを感知する。例えば、端末は、感知された使用者の手の座標（例えば、伸ばされた指の座標）を比べて、使用者の手の座標が変わると、タッチレストラッキングが感知されたと判断する。例えば、タッチレストラッキングジェスチャーのために、伸ばした指と画面の間の距離はトラッキングの間実質的に同様に維持される。
【００４３】
図１４を参照すると、空間上のジェスチャーは両手のタッチレスパームプッシュ（ｔｏｕｃｈｌｅｓｓ  ｐａｌｍ  ｐｕｓｈ）である。例えば、両手のタッチレスパームプッシュは両手が画面の近くに移動する動作を含む。両手のタッチレスパームプッシュは両手の開かれた少なくとも１つの指が画面に向けて（例えば、手の平表面がスクリーンに実質的に平行になるように）移動する動作を含む。本実施例よると、端末は、両手がそれぞれ予め定義された設定（例えば、手の平の表面がスクリーン面に略平行）に対応して配置されているか否かを判断し、両手が共に画面に相対的に移動（例えば、それぞれの手の平が画面に近付くように移動）することを判断して両手のタッチレスパームプッシュを感知する。例えば、端末は、感知された両手の座標を比べて、両手の座標が変化すると、両手のタッチレスパームプッシュが感知されたと判断する。
【００４４】
図１５を参照すると、空間上のジェスチャーは両手のタッチレスピンチ（ｔｏｕｃｈｌｅｓｓ  ｐｉｎｃｈ）である。例えば、両手のタッチレスピンチは両手が画面に接近するように両手を画面に対応して移動させる動作を含む。両手タッチレスピンチは両手それぞれの少なくとも１つの指又は親指を伸ばして互いに近くなるように移動する動きを含む。両手のタッチレスピンチは両手それぞれの少なくとも１つの指又は親指を伸ばして互いに接触する動きを含む。本実施例よると、端末は、両手がそれぞれ予め定義された設定（例えば、両手それぞれの少なくとも１つの指又は親指が伸ばされる）に対応して配置されているか否か判断し、両手のうちで少なくとも１つが画面に対応して他の手に近くなるように（例えば、伸ばした少なくとも１つの指又は親指が近くなるとか、特に伸ばされた少なくとも１つの指又は親指が接触するように）移動することを感知して両手のタッチレスピンチを感知する。例えば、端末は、感知された両手の座標を比べて、両手の少なくとも１つの手の座標が変化すると、両手タッチレスピンチが感知されたと判断する。
【００４５】
図１６を参照すると、空間上のジェスチャーはタッチレスパラレルローテート（ｔｏｕｃｈｌｅｓｓ  ｐａｒａｌｌｅｌ  ｒｏｔａｔｅ）である。タッチレスパラレルローテートは互いに距離を置いて配置された両手が画面に垂直な軸の周りを移動する動きを含む。例えば、タッチレスパラレルローテートは両手の手の平表面がスクリーン表面に実質的に垂直であり、それぞれの手の平が互いに平行して配置され、配置された両手がスクリーンに垂直な軸の周りを移動する動きを含む。本実施例によると、端末は、両手が予め定義された設定（例えば、両手の手の平が画面に実質的に平行）に対応して配置されているか否かを判断し、両手が画面に対応して移動（例えば、画面に垂直な（画面から延長され）軸の周りを移動）することを判断してタッチレスパラレルローテートを感知する。例えば、端末は、感知された両手の座標を比べて、両手の座標の変化があると、タッチレスパラレルローテートが感知されたと判断する。
【００４６】
図１７を参照すると、空間上のジェスチャーはタッチレスクラップ（ｔｏｕｃｈｌｅｓｓ  ｃｌａｐ）である。タッチレスクラップは互いに距離を置いて配置された両手（例えば、手のそれぞれの手の平が互いに向かい合うように）が互いに向けて移動（例えば、画面に実質的に平行な軸に沿って移動）する動きを含む。例えば、タッチレスクラップは両手それぞれの手の平表面が画面に略直交するように配置され（例えば、手の平が互いに向かい合う）、両手が画面に実質的に平行な軸に沿って移動する動作である。本実施例によると、端末は、各手が予め定義された設定（例えば手の平表面が実質的に画面に垂直）に対応するように配置されているか否かを判断し、両手の各手の平が互い向き合うか又は対向するかを判断し、両手が画面に対応して移動（例えば、画面に実質的に平行な軸に沿って移動）することを判断してタッチレスクラップを感知する。例えば、端末は、感知された両手の座標を比べて、両手の相手座標の変化があると、タッチレスクラップが感知されたと判断する。
【００４７】
図１８を参照すると、空間上のジェスチャーはタッチレススイープ（ｔｏｕｃｈｌｅｓｓ  ｓｗｅｅｐ）と共に（例えば、結合して）発生するタッチに対応する。タッチレススイープと結合されたタッチは、入力手段（例えば、スタイラス、指、親指、及び／又はそれ等）で使用者が画面をタッチし、上、下、左、右のうちの少なくとも１つにスイープする動作を含む。例えば、タッチレススイープと結合されたタッチは、入力手段で使用者が画面をタッチし、手の平表面が実質的に画面に垂直するように配置された後、上、下、左、右のうちのいずれか一方向に移動する動作を含む。本実施例によると、端末は、タッチ（例えば、タッチスクリーンの静電容量変化）を感知した後、手が予め定義された設定（例えば、手の平表面がスクリーン表面に実質的に垂直）に対応して配置され、手が画面（例えば、画面の一領域）に対応して移動することを感知してタッチレススイープを感知する。例えば、端末は、感知された手の座標を比べ、感知された手の座標が変化すると、タッチレススイープに結合されたタッチイベントが感知されたと判断する。
【００４８】
図１９を参照すると、空間上のジェスチャーはフィンガーホバリング（ｆｉｎｇｅｒ  ｈｏｖｅｒｉｎｇ）である。例えば、フィンガーホバリングは使用者が予め設定された時間の間画面の実質的に同じ位置に指（又は他の入力手段）を維持する動作である。フィンガーホバリングは画面表面と入力手段の間に接触が起きない状態で配置されている画面の実質的に一定の同じ位置に指が維持される動作を含む。本実施例によると、端末は、入力手段がスクリーンから離れて配置され、予め設定された時間の間実質的に同じ位置に固定されることを判断してフィンガーホバリングを感知する。例えば、端末は、感知された入力の座標を所定の時間の間比べて、座標の変化がなければ、フィンガーホバリングが感知されたと判断する。
【００４９】
図２０を参照すると、空間上のジェスチャーはパーム（ｐａｌｍ）である。例えば、パームは予め設定された時間の間実質的に同じ画面上の位置で指が伸ばされた手を固定させる動作を含む。パームは手の平とスクリーン表面が接触しない状態で手の平が実質的に同じ位置で予め設定された時間の間固定される動作である。本実施例において、端末は、予め設定された時間の間画面から離れた所で手の平が固定されていることを判断してパームを感知する。例えば、端末は、予め設定された時間の間感知された手の平の座標を比べて、座標が変化しなければ、パームが感知されたと判断する。また他の例で、端末は、予め設定された時間の間手の模様を比べて、手が開かれた状態で予め設定された時間の間固定されていると、パームが感知されたと判断する。
【００５０】
図２１を参照すると、空間上のジェスチャーはフィスト（ｆｉｓｔ）である。例えば、フィストは予め設定された時間の間画面の実質的に同じ位置に握り締めた状態で（例えば、指と親指が拳を握った状態）固定される動作を含む。フィストは握り締めた手（例えば、拳）がスクリーン表面と接触しない状態で実質的に画面の同じ位置に固定される動作を含む。本実施例において、端末は、手が予め定義された設定（例えば、手が拳を握った状態）に対応して配置されているか否かを判断し、握り締めた手が予め設定された時間の間画面上の実質的に同じ位置に固定されることを判断してフィストを感知する。例えば、端末は、予め設定された時間の間感知された拳の座標を比べて、座標が変化しなければ、フィストが感知されたと判断する。また他の例で、端末は、予め設定された時間の間手の模様を比べて、手が握り締めた状態で予め設定された時間の間固定されていると、フィストが感知されたと判断する。
【００５１】
図２２を参照すると、空間上のジェスチャーはサム−アップ（ｔｈｕｍｂ−ｕｐ）である。例えば、サム−アップは親指を伸ばして他の指を握り締めた手を予め設定された時間の間画面上の実質的に同じ位置で予め設定された時間の間固定させる動作を含む。サム−アップは手（例えば、伸ばされた親指）がスクリーン表面から離れた状態で予め設定された時間の間実質的に同じ位置に固定されることを含む。本実施例よると、端末は、予め定義された設定（例えば、手が親指を立てた模様を形成）に対応して配置されているか否かを判断し、手が予め設定された時間の間画面から離れて実質的に同じ位置に固定されていることを判断してサム−アップを感知する。例えば、端末は、予め設定された時間の間感知された親指を立てた手の座標を比べて、座標が変化しなければ、サム−アップが感知されたと判断する。また他の例で、端末は、予め設定された時間の間手の模様を比べて、手が親指を立てた状態で予め設定された時間の間固定されていると、サム−アップが感知されたと判断する．
【００５２】
図２３を参照すると、空間上のジェスチャーはポインティングジェスチャーである。例えば、ポインティングジェスチャーは入力手段（例えば伸ばされた指、親指など）を含む使用者の手を予め設定された時間の間画面の実質的に同じ位置に固定させる動作を含む。ポインティングジェスチャーは手（例えば、伸ばされた指）がスクリーン表面から離れた状態で予め設定された時間の間実質的に一定の同じ位置に固定されることを含む。本実施例において、端末は、手が予め定義された設定（例えば、手が少なくとも１つの指が伸ばされたポインティングジェスチャーを形成）に対応して配置されているか否かを判断し、ポインティングジェスチャーが予め設定された時間の間実質的に同じ画面上の位置に固定されることを判断してポインティングジェスチャーを感知する。例えば、端末は、予め設定された時間の間ポインティングジェスチャーの座標を判断し、感知された座標が変化しなければ、ポインティングジェスチャーが感知されたと判断する。また他の例で、端末は、予め設定された時間の間手の模様を比べて、手がポインティングジェスチャーの状態で予め設定された時間の間固定されていると、ポインティングジェスチャーが感知されたと判断する。
【００５３】
図２４を参照すると、空間上のジェスチャーはオーケイ（ｏｋａｙ）ジェスチャーである。例えば、オーケイジェスチャーは、円を形成する親指と人差し指、及び伸ばした残りの指を含む手が予め設定された時間の間画面上の実質的に同じ位置で固定される動作を含む。オーケイジェスチャーは手（例えば、人差し指と親指が円を形成して残りの指が伸ばされた手）がスクリーン表面から離れた状態で画面上の実質的に同じ位置で予め設定された時間の間固定される動作を含む。本実施例において、端末は、手が予め定義された設定（例えば、人差し指と親指が円を形成して残りの指は伸ばす）に対応して配置されているか否かを判断し、配置された手が予め設定された時間の間画面から離れて固定されていることを判断してオーケイジェスチャーを感知する。例えば、端末は、予め設定された時間の間オーケイジェスチャーの座標を感知し、感知された座標が変化しなければ、オーケイジェスチャーが感知されたと判断する。また他の例で、端末は、予め設定された時間の間手の模様を比べて、手がオーケイジェスチャーの状態で予め設定された時間の間固定されていると、オーケイジェスチャーが感知されたと判断する。
【００５４】
図２５を参照すると、空間上のジェスチャーはナンバリングジェスチャーである。例えば、ナンバリングジェスチャーは予め設定された数の指を伸ばした手を予め設定された時間の間画面上の実質的に同じ位置に固定させる動作を含む。ナンバリングジェスチャーは手（例えば、親指又は２つの指を伸ばした手など）がスクリーン表面から離れた状態で画面上の実質的に同じ位置に固定されることを含む。本実施例において、端末は、手が予め定義された設定（例えば、親指又は２つの指を伸ばした状態）に対応して配置されているか否かを判断し、配置された手が予め設定された時間の間画面から離れて固定されていることを判断してナンバリングジェスチャーを感知する。例えば、端末は、予め設定された時間の間ナンバリングジェスチャーの座標を感知し、感知された座標が変化しなければ、ナンバリングジェスチャーが感知されたと判断する。また他の例で、端末は、予め設定された時間の間手の模様を比べて、手がナンバリングジェスチャーの状態で予め設定された時間の間固定されていると、ナンバリングジェスチャーが感知されたと判断する。
【００５５】
図１に戻って、ステップＳ１２０の後に、端末は分析結果に対応する任意の動作を決定する（ステップＳ１３０）。
【００５６】
本実施形態によると、端末は分析された空間上のジェスチャーに対応する任意の動作を決定する。例えば、端末は端末の機能モードを判断する。端末の機能モードは感知された空間上のジェスチャーに対応する。
【００５７】
端末が支援する多様な機能モードは、カメラ撮影、マルチメディア再生、文字送受信、コール送受信、電子ブック読書機能、ナビゲーション、暦表示、電子メール送受信、ビデオゲーム等の各モードである。
【００５８】
端末は機能モードに基づいて空間上のジェスチャーに対応する任意の動作を決定する。
【００５９】
端末がマルチメディア再生中の場合、空間上のジェスチャーが任意の方向に向ける動きに対応することと判断された場合、端末は任意の機能で再生リストのうちの任意の方向に対応する曲を再生する動作を決定する。
【００６０】
また、例えば、読書機能中の場合、空間上のジェスチャーが任意の方向に向ける動きに対応することと判断された場合、端末は任意の機能で任意の方向に対応する本のページを表示する動作を決定する。
【００６１】
端末は、任意の動作を決定するために、図２６に示したような空間上の相互作用セットを利用する。
【００６２】
図２６は、空間上の相互作用セットの一実施例を示した図である。
【００６３】
図２６を参照すると、端末は、任意の空間上のジェスチャーに対する説明及びこれを指示する名称を定義し、当該の空間上のジェスチャーに対するメタファーを貯蔵する。メタファーは当該の空間上のジェスチャーに対応する任意の動作を表す。メタファーは、例えば、端末で感知された空間上のジェスチャーを分析し、分析結果に基づいて空間上の相互作用セットを利用して任意の動作を決定する。定義された空間上のジェスチャー及びその動作はルックアップテーブル（ＬＵＴ）形態で貯蔵される。
【００６４】
その後、端末は任意の動作を行う（ステップＳ１４０）。例えば、決定された空間上のジェスチャーに基づいて、端末は決定された空間上のジェスチャーに対応する動作を決める。
【００６５】
これにより、端末は決定された任意の動作を行う。
【００６６】
以下、空間上のジェスチャーを用いて端末が多様な任意の動作を行う具体的な実施例を、図面を参照しながら説明する。
【００６７】
図２７は、本発明の第１実施例による端末制御方法を示した図である。
【００６８】
図２７を参照すると、端末は、カメラを介して映像入力を感知し、これを分析する。端末は、映像入力を介して感知された入力手段の動きに対して少なくとも１つの方向、速度、移動距離などを分析する。例えば、端末は使用者の手が左／右に向けられる動きを感知する。
【００６９】
端末は分析結果によって任意の動作を行う。例えば、端末は表示部上のアイテムを左／右に移動させる。
【００７０】
端末は動きの速度によってアイテムを早く又は遅く移動させる。また、端末は、入力手段の動きの速度、長さに基づいて本の複数のページをめくったり、動きの速度で１つのチャプターをめくったりすることもできる。また、端末は、写真アルバムの写真をめくったり、マルチメディア再生の中で再生されるマルチメディアをリストの次のマルチメディアを再生したりする。
【００７１】
一例として、図２７は、画面の一方から他方へのタッチレストラッキング（ｔｏｕｃｈｌｅｓｓ  ｔｒａｃｋｉｎｇ）の感知、画面一方から他方への遅い速度を有するタッチレススイープ（ｔｏｕｃｈｌｅｓｓ  ｓｗｅｅｐ）の感知、画面一方から他方への早い速度を有するタッチレススイープ（ｔｏｕｃｈｌｅｓｓ  ｓｗｅｅｐ）の感知に基づいて文書又は電子ブックのページをめくる例を示す。感知されたジェスチャーによって、端末は、１ページ、少ないページ、又は多数のページをめくる。例えば、めくられるページ数は、端末でジェスチャーがどの程度で感知されるかによって対応する。
【００７２】
図２８は、本発明の第２実施例による端末制御方法を示した図である。
【００７３】
図２８を参照すると、端末はタッチ入力と空間上のジェスチャーを同時に又は順次に感知する。また、端末は、タッチ入力が持続する間、空間上のジェスチャーを感知する。例えば、端末は、表示部の任意の位置に対するタッチ入力が発生し、タッチ入力が持続する状態で任意の方向に向ける動きの空間上のジェスチャーを感知する。
【００７４】
この場合、端末は、任意の位置に対するタッチ入力に基づいて、表示部に表示されたアイテムを選択し、空間上のジェスチャーに基づいて、表示部に表示されたアイテムを左／右に移動する。選択されたアイテムは、例えば背景画面のアイコン、ウィジェット、イメージなどである。
【００７５】
一方、端末は、空間上のジェスチャーに基づいて、タッチ入力によって選択されたアイテムを除いた残りのアイテムを左／右に移動させることもできる。残りのアイテムは、例えば選択されないアイコン／ウィジェット及び背景画面に表示される全てのＵＩを含む。
【００７６】
本実施例によると、タッチジェスチャーに対応する選択されたアイテムは表示された位置に残り、画面に表示された他のアイテムは感知された空間上のジェスチャー（例えば、タッチレススイープ）によって移動したり変更されたりする。
【００７７】
また、端末は、空間上のジェスチャーに基づいて、タッチ入力によって選択された使用者にコール、文字メッセージ、ファイルなどを送信する。
【００７８】
図２９は、本発明の第３実施例による端末制御方法を示した図である。
【００７９】
図２９を参照すると、端末は、カメラを介して映像入力を感知し、これを分析する。端末は映像入力を介して感知された動きに対して握り締める動きを分析する。
【００８０】
端末は分析結果に基づいて任意の動作を行う。例えば、拳に対応する空間上のジェスチャーの感知時、端末は該当する予め定義された動作を行う。
【００８１】
例えば、端末は、表示部に表示された内容をキャプチャーして貯蔵したり、表示されない内容を含む全体コンテンツの内容をキャプチャーして貯蔵したりする。端末はキャプチャーされた内容をイメージで貯蔵することができる。
【００８２】
端末は、キャプチャーされた内容をイメージで貯蔵する場合、イメージの大きさ、解像度、倍率などを変更したり、予め設定された値で設定したり、又は握り締める動きの速度、握り締める前の指を伸ばした程度、握りしめてから指を握りしめた程度などに基づいて任意の値で設定したりして貯蔵する。
【００８３】
図３０は、本発明の第４実施例による端末制御方法を示した図である。
【００８４】
図３０を参照すると、端末は、カメラを介して映像入力を感知し、これを分析する。端末は映像入力を分析して任意の方向に向ける空間上のジェスチャーを判断する。
【００８５】
端末は、判断された空間上のジェスチャーに基づいて、複数のウェブブラウザ間の移動動作を行う。端末は、複数のウェブブラウザが複数のタブ形態で表示された場合、複数のタブ間の移動動作を行う。或いは、端末は、複数のアプリケーションが作動中の場合、複数のアプリケーションの間の移動する動作を行うこともできる。
【００８６】
端末は、表示部に表示されているウェブブラウザに対して、左／右／上端／下端又は最上端／下端に移動された画面を表示する。また、端末は、表示部に表示されているウェブブラウザの更新を行ったり、拡大／縮小、ページコピー、検索、印刷、前／次のページに移動などの動作を行ったりする。
【００８７】
図３１は、本発明の第５実施例による端末制御方法を示した図である。
【００８８】
図３１を参照すると、端末は、カメラを介して映像入力を感知し、入力手段の模様を分析する。例えば、端末は手の模様を判断する。端末は、伸ばされた指の数、指の模様、手の平又は手の甲の形態、位置、大きさなどを分析する。
【００８９】
端末は入力手段の模様に基づいて任意の動作を行う。
【００９０】
本実施例によると、端末は伸ばされた指の数に基づいてカメラの撮影時間を決定する。例えば、端末は、伸ばされた指の数に対応する時間の後にカメラ撮影を行ったり、伸ばされた指の数に対応する時間の間の映像を撮影したりする。また、端末は手の模様に基づいて直ちに撮影を行うこともできる。
【００９１】
また、端末は手の模様に基づいてオートフォーカシングを行う。例えば、手の模様が親指を挙げた模様の場合、カメラはオートフォーカシングを行う。
【００９２】
また、端末は感知された空間上のジェスチャーに基づいて任意の撮影効果を適用することもできる。
【００９３】
図３２は、本発明の第６実施例による端末制御方法を示した図である。
【００９４】
図３２を参照すると、端末は入力手段の任意の方向に向ける動き又は端末に近接する入力手段のジェスチャーを感知する。例えば、端末は任意の方向に移動する手の動き又は端末の任意の位置に近接する指を感知する。
【００９５】
端末は、感知された動きの方向、速度又は近接する指の座標、距離などを分析する。
【００９６】
端末は分析結果に基づいて任意の動作を行う。
【００９７】
端末は任意の方向及び速度によって動く画面を表示する。また、端末は任意の座標で水滴が落ちる画面を表示する。この他にも、端末は多様な感性的な効果を示す画面を表示することができる。端末は、２Ｄ又は３Ｄで画面を表示し、表示される画面に対応して、振動、音響などを共に出力することもできる。
【００９８】
例えば、タッチレススイープが感知されると、端末は、波、又は画面を横切る波長の連続的な姿を画面に表示する。他の例として、ｐｏｉｎｔｉｎｇ  ｏｆｆｅｒ又はタッチレスホバー（ｔｏｕｃｈｌｅｓｓ  ｈｏｖｅｒ）が感知されると、端末は液体の中に物体又は水滴が落ちることに対応する波効果を表示する。
【００９９】
図３３は、本発明の第７実施例による端末制御方法を示した図である。
【０１００】
図３３を参照すると、端末は、端末に向けて近付く動き又は端末に近接した入力手段のジェスチャーを感知し、これを分析して任意の動作を行う。
【０１０１】
端末は機能モードに基づいて簡単な情報を表示する。例えば、端末がロックモードの状態又は表示部が節電モードの状態の場合、端末は、日付、時間、バッテリー充填状態、警告窓などを表示する。
【０１０２】
図３４は、本発明の第８実施例による端末の制御方法を示した図である。
【０１０３】
図３４を参照すると、端末は任意の方向に向ける動きを感知してこれを分析する。また、端末は、端末の機能モードに基づいて任意の動作を行う。
【０１０４】
端末は、速度／加速度センサー、ジャイロセンサーなどを介して端末が運転モードか否かを判断する。また、端末は、通話を受信した場合、任意の方向に向かう動きが感知されると、コールを受信したり又はコールを拒絶して運転中であることを知らせるメッセージをコールの相手に送出したりする。また、端末は運転モードの中で音楽のボリュームを調節したりメッセージを送受信する動作を行ったりすることもできる。例えば、空間上のジェスチャーは端末の運転モードで端末を制御するためのハンズフリー手段として用いることができる。
【０１０５】
図３５は、本発明の第９実施例による端末の制御方法を示した図である。
【０１０６】
図３５を参照すると、端末は、空間上のジェスチャーに基づいてマルチメディア再生を制御する。
【０１０７】
例えば、端末は、カメラを介して映像入力を感知し、感知された入力手段の動き、模様などに基づいて、マルチメディアリストの前／後ファイルを再生したり、再生／静止を制御したり、シャッフル機能を行ったりする。
【０１０８】
図３６は、本発明の一実施形態による端末の構成を示すブロック図である。
【０１０９】
図３６を参照すると、端末１００は、入力部１１０、センサー部１２０、制御部１３０、カメラ部１４０、貯蔵部１５０、及び表示部１６０を含んで構成される。
【０１１０】
入力部１１０は、使用者が端末１００の動作制御のための入力データを発生させる。入力部１１０は、キーパッド（ｋｅｙ  ｐａｄ）、ドームスィッチ（ｄｏｍｅ  ｓｗｉｔｃｈ）、タッチパッド（静圧／静電）、ジョグホイール、ジョグスィッチなどで構成される。
【０１１１】
センサー部１２０は、タッチセンサー部１２１、近接センサー部１２２、速度／加速度センサー部１２３、及びジャイロセンサー部１２４を含んで構成される。
【０１１２】
タッチセンサー部１２０は、タッチ入力を感知し、タッチフィルム、タッチシート、タッチパッドの中の少なくとも１つで構成される。
【０１１３】
タッチセンサー部１２０は、表示部１６０と相互レイヤー構造を有することによってタッチスクリーンとして作動することができる。この時、タッチセンサー部１２０は、表示部１６０の特定部位に加えられた圧力又は表示部１６０の特定部位に発生する静電容量などの変化を電気的な入力信号に変換するように構成される。タッチセンサー部１２０は、タッチされる位置及び面積だけではなく、タッチ時の圧力までも検出するように構成される。
【０１１４】
タッチセンサー部１２０によってタッチ入力が感知された場合、タッチセンサー部１２０は、それに対応する信号を処理して制御部１３０に送信する。これによって、制御部１３０は、表示部１６０のどの領域がタッチされたかなどが分かる。
【０１１５】
近接センサー部１２２は、表示部１６０によって包まれる端末１００の内部領域又は表示部１６０の近くに配置される。近接センサー部１２２は、所定の検出面に近付く物体、或いは近傍に存在する物体の有無を電子系の力又は赤外線を利用して機械的接触なしに検出する。この時、表示部１６０はタッチスクリーンであり得る。
【０１１６】
近接センサー部１２２は、透過型光電センサー、直接反射型光電センサー、ミラー反射型光電センサー、高周波発振型近接センサー、静電容量型近接センサー、磁気型近接センサー、赤外線近接センサーの中の少なくとも１つで構成される。表示部１６０が静電式タッチスクリーンの場合、近接センサー部１２２は、ポインタの近接による電界の変化でポインタの近接を検出するように構成される。
【０１１７】
近接センサー部１２２は、近接タッチと、近接タッチパターン（例えば、近接タッチ距離、近接タッチ方向、近接タッチ速度、近接タッチ時間、近接タッチ位置、近接タッチ移動状態など）を感知する。感知された近接タッチ動作及び近接タッチパターンに相応する情報は表示部１６０に表示される。
【０１１８】
速度／加速度センサー部１２３は、端末１００の動きを感知する。速度／加速度センサー部１２３は、ある一方向の加速度変化に対してこれを電気信号に変えられる素子で構成される。制御部１３０は、速度／加速度センサー部１２３によって感知された端末１００の動きに基づいて、端末１００が運転モードなのか否かを判断する。
【０１１９】
ジャイロセンサー部１２４は、端末の回転状態を感知する。ジャイロセンサー部１２４は、端末１００の角速度を測定し、基準方向に対して回転された角度を感知する。例えば、ジャイロセンサー部１２４は、３方向の軸を基準にしたそれぞれの回転角度、即ち方位角（ａｚｉｍｕｔｈ）、ピッチ（ｐｉｔｃｈ）、及びロール（ｒｏｌｌ）を感知する。制御部１３０は、ジャイロセンサー部１２４によって感知された回転状態に基づいて、端末１００が床等に置かれた状態なのか、ドッキング状態なのかを判断する。
【０１２０】
制御部１３０は、端末１００の各構成要素に対する全般的な動作を制御する。例えば、制御部１３０は、端末１００に対する空間上のジェスチャーを感知し、これを分析し、分析結果に基づいて任意の動作を決定し、これを行うように端末１００を制御する。
【０１２１】
制御部１３０の詳細な動作は上述した通りである。
【０１２２】
カメラ部１４０は、画像通話モード又は撮影モードでイメージセンサーによって得られた静止画像又は動画映像などの画像フレームを処理する。処理された画像フレームは表示部１６０に表示される。
【０１２３】
カメラ部１４０で処理された画像フレームは、貯蔵部１５０に貯蔵されたり制御部１３０に送信されたりする。制御部１３０は、カメラ部１４０によって獲得された映像を分析して映像の模様、形態などを分析する。
【０１２４】
貯蔵部１５０は、制御部１３０の動作のためのプログラムを貯蔵し、入／出力されるデータ（例えば、電話帳、メッセージ、静止映像、動映像など）を臨時貯蔵する。貯蔵部１５０は、タッチスクリーン上のタッチ入力時に出力される多様なパターンの振動及び音響に関するデータを貯蔵する。
【０１２５】
また、貯蔵部１５０は、空間上のジェスチャーに基づいて任意の動作をマッチングさせた空間上の相互作用セットを貯蔵する。
【０１２６】
貯蔵部１５０は、フラッシュメモリータイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリー（例えば、ＳＤ又はｘＤメモリーなど）、ラム（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ：ＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ロム（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ：ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、磁気メモリー、磁気ディスク、光ディスクのうちの少なくとも１つのタイプの貯蔵媒体を含む。
【０１２７】
表示部１６０は、端末１００で処理される情報をＵＩ又はＧＵＩ形態で表示（出力）する。
【０１２８】
表示部１６０は、液晶ディスプレー（ＬＣＤ）、薄膜トランジスター液晶ディスプレー（ＴＦＴ  ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、フレキシブルディスプレー、３次元ディスプレーのうちの少なくとも１つを含む。
【０１２９】
表示部１６０は、タッチセンサー部１２１及び／又は近接センサー部１２２と相互レイヤー構造を成してタッチスクリーンとして作動することができる。この場合、表示部１６０は、出力装置以外に入力装置としても作動する。
【０１３０】
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【０１３１】
１００    端末
１１０    入力部
１２０    センサー部
１２１    タッチセンサー部
１２２    近接センサー部
１２３    速度／加速度センサー部
１２４    ジャイロセンサー部
１３０    制御部
１４０    カメラ部
１５０    貯蔵部
１６０    表示部
【図１】
2013235588.tif 000003
【図２】
2013235588.tif 000004
【図３】
2013235588.tif 000005
【図４】
2013235588.tif 000006
【図５】
2013235588.tif 000007
【図６】
2013235588.tif 000008
【図７】
2013235588.tif 000009
【図８】
2013235588.tif 000010
【図９】
2013235588.tif 000011
【図１０】
2013235588.tif 000012
【図１１】
2013235588.tif 000013
【図１２】
2013235588.tif 000014
【図１３】
2013235588.tif 000015
【図１４】
2013235588.tif 000016
【図１５】
2013235588.tif 000017
【図１６】
2013235588.tif 000018
【図１７】
2013235588.tif 000019
【図１８】
2013235588.tif 000020
【図１９】
2013235588.tif 000021
【図２０】
2013235588.tif 000022
【図２１】
2013235588.tif 000023
【図２２】
2013235588.tif 000024
【図２３】
2013235588.tif 000025
【図２４】
2013235588.tif 000026
【図２５】
2013235588.tif 000027
【図２６】
2013235588.tif 000028
【図２７】
2013235588.tif 000029
【図２８】
2013235588.tif 000030
【図２９】
2013235588.tif 000031
【図３０】
2013235588.tif 000032
【図３１】
2013235588.tif 000033
【図３２】
2013235588.tif 000034
【図３３】
2013235588.tif 000035
【図３４】
2013235588.tif 000036
【図３５】
2013235588.tif 000037
【図３６】
2013235588.tif 000038