(57)【要約】  ユーザのジェスチャー及び状況情報を認識する段階と、認識されたジェスチャー及び状況情報を組み合わせた状況基盤ジェスチャー情報を生成する段階と、状況基盤ジェスチャー情報に対応するアプリケーション動作を行う段階と、を含む移動装置を動作させる方法及びその移動装置が開示される。
2013539579.tif 000002
【特許請求の範囲】
【請求項１】
ユーザのジェスチャーを認識して移動装置を動作させる方法であり、
前記ユーザのジェスチャー及び状況情報を認識する段階と、
前記認識されたジェスチャー及び前記状況情報の組み合わせによって状況基盤ジェスチャー情報を生成する段階と、
前記状況基盤ジェスチャー情報に対応するアプリケーション動作を行う段階と、を含むことを特徴とする移動装置動作方法。
【請求項２】
前記状況情報は、前記ユーザのジェスチャーを認識した時間及びその時間における前記移動端末の位置情報のうち少なくとも一つを含む状況に関する情報を含む請求項１に記載の移動装置動作方法。
【請求項３】
前記時間に関する時間情報は、移動装置に搭載された照度センサー及び時計のうち少なくとも一つにより獲得され、前記位置に関する位置情報は、移動装置に搭載されたＧＰＳ受信インターフェース、ワイファイ（ＷｉＦｉ：Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）インターフェース及びセルラーインターフェースのうち少なくとも一つのインターフェースにより獲得されることを特徴とする請求項２に記載の移動装置動作方法。
【請求項４】
前記アプリケーション動作は、前記認識されたジェスチャー及び前記状況情報の組み合わせによって異なることを特徴とする請求項１に記載の移動装置動作方法。
【請求項５】
前記ユーザのジェスチャー及び状況情報を認識する段階は、
ユーザのジェスチャーを感知し、感知したジェスチャーを既保存された複数のジェスチャーと比べて、前記感知されたジェスチャーと対応するジェスチャーを判定する段階を含むことを特徴とする請求項１に記載の移動装置動作方法。
【請求項６】
加速度計、ジャイロスコープ、カメラ、距離測定器、地磁気センサー、圧力センサー、及びタッチスクリーンのうち少なくとも一つを使って前記ユーザのジェスチャーを感知することを特徴とする請求項５に記載の移動装置動作方法。
【請求項７】
前記移動装置動作方法は、
ユーザに前記認識されたジェスチャー及び状況情報を出力し、
前記認識されたジェスチャー及び状況情報の認識誤りがあるかどうかに関するユーザフィードバック情報を受信する段階をさらに含む請求項１に記載の移動装置動作方法。
【請求項８】
前記状況情報は、個人情報管理システム（ＰＩＭＳ：ｐｅｒｓｏｎａｌ ｉｎｆｏｒｍａｔｉｏｎ ｍａｎａｇｅｍｅｎｔ ｓｙｓｔｅｍ）と連動して獲得することを特徴とする請求項１に記載の移動装置動作方法。
【請求項９】
ユーザのジェスチャーを認識して移動装置を動作させる方法であり、
前記ユーザのジェスチャー及び状況情報を認識する段階と、
前記認識されたジェスチャー及び前記状況情報によって状況基盤ジェスチャー情報を生成する段階と、
前記状況基盤ジェスチャー情報と複数のアプリケーション動作のうち一つをマッピングする段階と、
前記状況基盤ジェスチャー情報及びアプリケーション動作のマッピングを保存する段階と、を含むことを特徴とする移動装置動作方法。
【請求項１０】
前記状況情報は、前記移動装置が前記マッピングされるアプリケーション動作を行う時間、及びその時間における前記移動装置の位置情報のうち少なくとも一つを含む状況に関する情報であることを特徴とする請求項９に記載の移動装置動作方法。
【請求項１１】
前記状況基盤ジェスチャー情報と複数のアプリケーション動作のうち一つをマッピングする段階は、
前記複数のアプリケーション動作を含むアプリケーション動作リストをユーザに出力する段階と、
ユーザ入力信号に基づいて、前記提供されたアプリケーション動作リストでアプリケーション動作についての選択を受信する段階と、
前記状況基盤ジェスチャー情報及び前記選択されたアプリケーション動作をマッピングする段階と、を含むことを特徴とする請求項９に記載の移動装置動作方法。
【請求項１２】
ユーザのジェスチャーを認識して動作する移動装置であり、
前記ユーザのジェスチャー及び状況情報を認識し、前記認識されたジェスチャー及び前記状況情報の組み合わせによって状況基盤ジェスチャー情報を生成するジェスチャー設定部と、前記状況基盤ジェスチャー情報に対応する、アプリケーション動作を行うジェスチャー実行部と、を備えることを特徴とする移動装置。
【請求項１３】
前記移動装置は、
ユーザの感情状態に連関する前記状況情報を獲得する状況情報獲得部をさらに備える請求項１２に記載の移動装置。
【請求項１４】
前記ジェスチャー設定部は、
前記状況基盤ジェスチャー情報と複数のアプリケーション動作のうち一つをマッピングして、前記状況基盤ジェスチャー情報及びアプリケーション動作のマッピングをメモリに保存し、
前記ジェスチャー実行部は、前記マッピングされるアプリケーション動作を行うことを特徴とする請求項１２に記載の移動装置。
【請求項１５】
コンピュータで読み取り可能な記録媒体において、
前記ユーザのジェスチャー及び状況情報を認識する段階と、
前記認識されたジェスチャー及び前記状況情報を組み合わせた状況基盤ジェスチャー情報を生成する段階と、
前記状況基盤ジェスチャー情報に対応する、アプリケーション動作を行う段階と、を含む移動装置動作方法を行うためのプログラムを記録したコンピュータで読み取り可能な非一時的記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザのジェスチャーを認識して移動装置を動作させる方法及びその移動装置に係り、さらに詳細には、状況情報に基づいてユーザのジェスチャーを認識して移動装置を動作させる方法及びその移動装置に関する。
【背景技術】
【０００２】
最近、スマートフォンをはじめとする多様な移動装置（Ｍｏｂｉｌｅ Ｄｅｖｉｃｅ）が普及されるにつれて、ジェスチャー認識サービスなどの多様なサービスが提供されている。移動装置を使って予め定義されたジェスチャーをとる場合、移動装置でジェスチャーによってアプリケーション動作（ａｐｐｌｉｃａｔｉｏｎ ａｃｔｉｏｎ）を行う。
【０００３】
従来の技術は、多様なジェスチャーを使って多くのアプリケーション動作を行うことができた。しかし、従来の技術は、特定ジェスチャーを特定場所または時間などの周辺状況情報と連関付けることができなかった。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする技術的課題は、ユーザのジェスチャーを認識して移動装置を動作させる方法及びその移動装置を提供することであり、前記方法を行わせるためのプログラムを記録した、コンピュータで読み取り可能な記録媒体を提供することである。
【課題を解決するための手段】
【０００５】
前記技術的課題を解決するために、ユーザのジェスチャーを認識して移動装置を動作させる方法が提供される。前記方法は、前記ユーザのジェスチャー及び状況情報を認識する段階と、前記認識されたジェスチャー及び前記状況情報の組み合わせによって状況基盤ジェスチャー情報を生成する段階と、前記状況基盤ジェスチャー情報に対応するアプリケーション動作を行う段階と、を含む。
【０００６】
前記技術的課題を解決するために本発明の他の実施形態によれば、ユーザのジェスチャーを認識して移動装置を動作させる方法は、前記ユーザのジェスチャー及び状況情報を認識する段階と、前記認識されたジェスチャー及び前記状況情報によって状況基盤ジェスチャー情報を生成する段階と、前記状況基盤ジェスチャー情報と複数のアプリケーション動作のうち一つをマッピングする段階と、前記状況基盤ジェスチャー情報及びアプリケーション動作のマッピングを保存する段階と、を含む。
【０００７】
前記技術的課題を解決するために本発明の他の実施形態によれば、ユーザのジェスチャーを認識して動作する移動装置は、前記ユーザのジェスチャー及び状況情報を認識し、前記認識されたジェスチャー及び前記状況情報の組み合わせによって状況基盤ジェスチャー情報を生成するジェスチャー設定部と、前記状況基盤ジェスチャー情報に対応する、アプリケーション動作を行うジェスチャー実行部と、を備える。
【０００８】
また、本発明の他の実施形態によれば、ユーザのジェスチャーを認識する移動装置動作方法を行うためのプログラムを記録したコンピュータで読み取り可能な非一時的記録媒体が提供される。前記方法は、前記ユーザのジェスチャー及び状況情報を認識する段階と、前記認識されたジェスチャー及び前記状況情報を組み合わせた状況基盤ジェスチャー情報を生成する段階と、前記状況基盤ジェスチャー情報に対応する、アプリケーション動作を行う段階と、を含む。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態による状況基盤ジェスチャー情報と、それに対応するアプリケーション動作とを登録する方法を概略的に説明するフローチャートである。
【図２】本発明の一実施形態による状況基盤ジェスチャー情報に対応するアプリケーション動作を行う方法を説明するフローチャートである。
【図３Ａ】本発明の一実施形態による位置基盤ジェスチャー情報を生成してアプリケーション動作を登録する方法を概略的に示す図面である。
【図３Ｂ】本発明の一実施形態による位置基盤ジェスチャー情報を生成してアプリケーション動作を登録する方法を概略的に示す図面である。
【図３Ｃ】本発明の一実施形態による位置基盤ジェスチャー情報を生成してアプリケーション動作を登録する方法を概略的に示す図面である。
【図４Ａ】本発明の一実施形態による位置基盤ジェスチャー情報に対応するアプリケーション動作を行う方法を概略的に示す図面である。
【図４Ｂ】本発明の一実施形態による位置基盤ジェスチャー情報に対応するアプリケーション動作を行う方法を概略的に示す図面である。
【図５Ａ】本発明の一実施形態による時間基盤ジェスチャー情報に対応するアプリケーション動作を行う方法を概略的に示す図面である。
【図５Ｂ】本発明の一実施形態による時間基盤ジェスチャー情報に対応するアプリケーション動作を行う方法を概略的に示す図面である。
【図６Ａ】本発明の一実施形態による感情基盤ジェスチャー情報に基づいて移動装置を動作させる方法を概略的に示す図面である。
【図６Ｂ】本発明の一実施形態による感情基盤ジェスチャー情報に基づいて移動装置を動作させる方法を概略的に示す図面である。
【図７】本発明の一実施形態による移動装置の概略的なブロック図である。
【図８】本発明の一実施形態による図７の移動装置がユーザフィードバック情報を獲得する方法を示す概略的なブロック図である。
【図９】本発明の一実施形態による状況基盤ジェスチャー情報と、それに対応するアプリケーション動作とを登録する方法を詳細に説明するフローチャートである。
【図１０】本発明の一実施形態による図７の移動装置が状況基盤ジェスチャー情報に対応するアプリケーション動作を行う方法を詳細に説明するフローチャートである。
【発明を実施するための最良の形態】
【００１０】
本発明の実施形態に関する以下の説明で、本明細書の一部を形成する添付した図面についての参照が行われ、本発明が行われる数多くの特定の実施形態を例示の方法で示す。その他の実施形態が用いられてもよく、本発明の範ちゅうを逸脱せずに構造的な変更が行われうるということを理解せねばならない。
【００１１】
本発明は添付した図面に図示され、これは限定ではない例示として見なされねばならない。本明細書及び図面で、実質的に同じ機能構成を持つ構成要素については同じ符号を付け、重なる説明を略する。
【００１２】
図１及び図２は、本発明の一実施形態による移動装置を動作させる方法を概略的に説明するフローチャートである。
【００１３】
特に、図１は、本発明の一実施形態による状況基盤ジェスチャー情報と、それに対応するアプリケーション動作とを登録する方法を概略的に説明するフローチャートである。本発明による移動装置は、移動電話機、個人携帯情報端末（ＰＤＡ）、スチルカメラ、ビデオカメラ、ポータブル電卓、携帯型ラジオまたは他の音楽またはビデオプレーヤー、デジタル温度計、ゲーム機、携帯型電子装置、時計、またはユーザが把持するか、あるいは携帯できるいかなる他の装置を含む。
【００１４】
図１を参照すれば、移動装置は、段階１１０で、ユーザのジェスチャー及び状況情報を認識する（Ｓ１１０）。
【００１５】
具体的な例として、本発明の一実施形態による移動装置は、ユーザのジェスチャーを認識するように準備する。次いで、ユーザがジェスチャーをとる。この時、ユーザのジェスチャーは、多様な手ぶりにより、さらに具体的には、指（ｆｉｎｇｅｒ）、動き（ｍｏｔｉｏｎｓ）、タップ（ｔａｐｓ）、圧力、とどまり（ｄｗｅｌｌｓ）などにより作われる。次いで、移動装置は、センサーを使ってユーザのジェスチャーを感知し、感知したジェスチャーを移動装置内に既保存されている複数のジェスチャーと比べて、感知されたジェスチャーと対応するジェスチャーを判定する。移動装置は、例えば、加速度計、ジャイロスコープ、カメラ、及び距離測定器のうち少なくとも一つを使ってモーション情報を抽出することで、前記ユーザのジェスチャーを感知する。ジェスチャーを感知する方法はこれに限定されず、当業者に周知の方法を活用できる。
【００１６】
ジェスチャーを定めた後、移動装置は状況情報を認識する。この時、状況情報は、移動装置が特定アプリケーション動作を行う時間、及びその時間における前記移動端末の位置情報のうち少なくとも一つを含む状況に関する情報を意味する。さらに詳細には、状況情報は、ジェスチャーが行われる現在時間、その現在時間における移動装置の位置などの状況情報を含み、またユーザによって設定された時間及びその設定された時間における移動装置の位置などの状況情報を含む。例えば、ユーザが、午前７時に、スナップ（ｓｎａｐ）ジェスチャーをとれば、移動装置の目覚まし時計がオフ（ｏｆｆ）になることを希望すると仮定しよう。この時に状況情報は、そのスナップジェスチャー以外の付加的な情報である午前７時を意味する。そして、ユーザは、現在時刻午前７時をスナップジェスチャー及びアラームオフと連動して移動装置に認識させ、また、現在時刻と関係なく午前７時をスナップジェスチャー及びアラームオフと連動して移動装置に設定する。
【００１７】
状況情報を得る方法は、当業者に周知の多様な方法を活用する。例えば、移動装置は、移動装置に搭載されたＧＰＳ受信インターフェース、ワイファイ（Ｗｉｆｉ：Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）インターフェース、及びセルラーインターフェースのうち少なくとも一つのインターフェースにより得た位置情報を活用する。また移動装置は、移動装置に搭載された時計、照度センサーなどにより得た時間情報を活用する。
【００１８】
特に、移動装置は、個人情報管理システム（Ｐｅｒｓｏｎａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ、以下’ＰＩＭＳ’）と連動して状況情報を獲得することができる。この時、ＰＩＭＳは、コンピュータユーザが個人情報を容易に管理可能にするソフトウェアプログラムの総称である。ＰＩＭＳから”Ｓ”を抜いてＰＩＭと呼ぶ場合もあるが、この時には”Ｐｅｒｓｏｎａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｍａｎａｇｅｒ”の意味になる。この種のソフトウェアには多くの種類があるが、テキスト形態の簡単なメモからはじまって記念日、名刺管理、約束や日程管理、こよみ、電卓などの機能を支援するのが普通である。ＰＩＭＳを使う場合、ＧＰＳ及びセンサーなどを通じて状況情報を感知する時より電力消耗が少ないという長所がある。
【００１９】
段階１２０で、移動装置は、前記認識されたジェスチャー及び前記状況情報を組み合わせた状況基盤ジェスチャー情報を生成する（Ｓ１２０）。よって、本発明による移動装置は、時間、位置、感情などの状況によって同じジェスチャーであっても他の機能を行えるという長所を持つ。例えば、ジェスチャー、時間、位置の組み合わせは、総８種のアプリケーション動作に割り当てられる。この場合、アプリケーション動作が８種であるということは一例であり、本発明の実施形態によって様々な数のアプリケーションリストに同数のジェスチャーが割り当てられる。
【００２０】
段階１３０で、前記状況基盤ジェスチャー情報と複数のアプリケーション動作のうち一つをマッピングする（Ｓ１３０）。この時、アプリケーション動作は、特定プログラムの開始（ｌａｕｎｃｈｉｎｇ）、プログラムの特定モードの開始、ウェブサイトの開始、ゲームの開始、電話に係る動作、メッセージ送信、メニュー開きなどを含むコマンドなどである。しかし、これらの例に制限されるものではなく、他のアプリケーション動作が用いられてもよいということを理解せねばならない。段階１３０で、例えば、移動装置は、メモリに既保存された複数のアプリケーション動作を含むアプリケーション動作リストをユーザに提供する。その提供方法は、ディスプレイ、音声、振動など多くの方法を含む。ユーザは、アプリケーション動作リストのうち一つのアプリケーション動作を選択できる。移動装置は、状況基盤ジェスチャー情報及び前記ユーザによって選択されたアプリケーション動作をマッピングする。
【００２１】
段階１４０で、移動装置は、前記マッピングされる状況基盤ジェスチャー情報及びアプリケーション動作を保存する（Ｓ１４０）。また、移動装置が段階１１０ないし段階１４０を繰り返し、複数のマッピング情報を生成してメモリに保存できるということは当業者に明らかである。
【００２２】
図２は、本発明の一実施形態による状況基盤ジェスチャー情報に対応するアプリケーション動作を行う方法を説明するフローチャートである。状況情報のジェスチャー及び状況情報を認識し、状況基盤ジェスチャー情報を生成する過程は、図１の段階１１０及び段階１２０で説明された通りである。以下では、図２の段階１１０及び段階１２０との差異を主として説明する。
【００２３】
図２の段階２１０で、移動装置は、ユーザのジェスチャー及び状況情報を認識する（Ｓ２１０）。この時、状況情報は、ユーザのジェスチャーを認識した現在時間及びその現在時間における前記移動端末の位置情報のうち少なくとも一つを含む状況に関する情報である。
【００２４】
段階２２０で、移動装置は、認識されたジェスチャー及び状況情報を組み合わせた状況基盤ジェスチャー情報を生成する（Ｓ２２０）。
【００２５】
段階２３０で、移動装置は、前記状況基盤ジェスチャー情報に対応するアプリケーション動作を行う（Ｓ２３０）。前記状況基盤ジェスチャー情報に対応するアプリケーション動作は、図１の段階１１０〜１４０を通じて前記状況基盤ジェスチャー情報とマッピングされて前記メモリに既保存されたアプリケーション動作でありうる。
【００２６】
まとめれば、前述した本発明の一実施形態による移動装置を動作させる方法は、ユーザによるジェスチャー生成及びユーザが行うジェスチャーの認識及び動作の実行において、付加情報である位置及び時間などの状況情報を使う方法である。前記方法を使ってユーザがジェスチャーをとる時、位置及び時間によって異なる動作を行わせることできる。言い換えれば、ユーザの意図によって移動装置のアプリケーション動作が定義され、該当のアプリケーション動作が定義される時、位置及び時間情報が付加情報として記録される。またユーザの意図によって特定アプリケーション動作に変更（実行）され、特定アプリケーション動作の決定に際して、最初に入力された位置及び時間情報と現在の位置及び時間情報とを比べて定める。その結果、本発明の一実施形態による移動装置を動作させる方法は、特定ジェスチャーを特定場所または時間などの状況情報と連関付けることで、多様な状況で単一なジェスチャーで多様なアプリケーション動作ができるという長所を持つ。以下、本発明の一実施形態による移動装置の具体的な活用方案を説明する。
【００２７】
例えば、本発明の一実施形態による移動装置を動作させる方法は、ユーザが室内で移動装置を振るジェスチャーをとる場合には、移動装置のベル／振動モードをベルモードに変更することができ、室外で移動装置を振るジェスチャーをとる場合には、逆に振動モードに変更することができる。
【００２８】
また、本発明の一実施形態による移動装置を動作させる方法は、朝に起きる時に移動装置を振れば設定されたアラームが解除され、夜に寝る時に移動装置を振ればアラームが再び設定される方式も支援する。
【００２９】
また、本発明の一実施形態による移動装置を動作させる方法は、前記２つの情報を混合して使う方法も支援する。
【００３０】
また、本発明の一実施形態による移動装置は、時間、位置だけではなく状況の認知によるジェスチャー動作をＰＩＭＳと連動して、現在時間の該スケジュールによる状況を認知する。本発明の一実施形態による移動装置は、該時間に関連センサーを駆動させて、友達と約束がある時に手に携帯電話を持って振る特定ジェスチャーをとれば、該友達の端末にメッセージを送るか、または危険状況で特定ジェスチャーをとれば、１１０番（警察通報用電話番号）にすぐ電話をかけるなどの多様な機能を行える。
【００３１】
すなわち、場所及び時間とジェスチャーを連動できるので、ユーザが生成して覚えるべきジェスチャーの数を低減させる。
【００３２】
以下、図３Ａないし図６Ｂを参照して、本発明の一実施形態によって多様な状況（たとえば、位置、時間、感情）に基づいて、図１及び図２の移動装置を動作させる方法の多様な具現例をさらに詳細に説明する。
【００３３】
図３Ａないし図３Ｃは、本発明の一実施形態による位置基盤ジェスチャー情報を生成してアプリケーション動作を登録する方法を概略的に示すものである。
【００３４】
図３Ａを参照すれば、ユーザがスナップジェスチャーをとる。
【００３５】
次いで、移動装置は、センサーから得た未加工データ（ｒａｗ ｄａｔａ）を活用してスナップジェスチャーを認識する。
【００３６】
次いで、移動装置は、ジェスチャーがとられた位置、すなわち、事務室（ｏｆｆｉｃｅ）であるということを、ＧＰＳを活用して分かる。
【００３７】
次いで、移動装置は、スナップジェスチャー及び事務室情報にマッピングされるダイヤラー開始（Ｌａｕｎｃｈ Ｄｉａｌｅｒ）動作を定める。
【００３８】
次いで、移動装置は、マッピングされるスナップジェスチャー及び事務室情報とダイヤラー開始動作を保存する。
【００３９】
一方、図３Ｂを参照すれば、移動装置は、ジェスチャーがとられた位置、すなわち、バスであるということを、ＧＰＳを活用して分かる。
【００４０】
次いで、移動装置は、スナップジェスチャー及びバス情報にマッピングされるゲーム開始動作を定める。次いで、移動装置は、マッピングされるスナップジェスチャー及びバス情報とゲーム開始動作を保存する。
【００４１】
一方、図３Ｃを参照すれば、移動装置は、マップ（ｍａｐ）をディスプレイする。次いで、ユーザが前記ディスプレイされたマップを見て、自分が定めた位置を移動装置に入力する。
【００４２】
次いで、移動装置は、スナップジェスチャー及びユーザによって入力された位置情報にマッピングされるゲーム開始（Ｌａｕｎｃｈ Ｇａｍｅ）動作を定める。次いで、移動装置は、マッピングされるスナップジェスチャー及びユーザによって入力された位置情報とゲーム開始動作を保存する（図示せず）。
【００４３】
図４Ａ及び図４Ｂは、本発明の一実施形態による位置基盤ジェスチャー情報情報に対応するアプリケーション動作を行う方法を概略的に示すものである。
【００４４】
図４Ａを参照すれば、ユーザは、特定場所でスナップジェスチャーをとる。
【００４５】
次いで、移動装置は、内臓ＧＰＳモジュールを使って現在の位置を判断する。
【００４６】
次いで、移動装置は、現在の位置が事務室であるので、事務室でスナップジェスチャーをとる場合にマッピングされるアプリケーション動作を識別する。識別されたアプリケーション動作は、ダイヤラー開始動作である。
【００４７】
次いで、移動装置は、ダイヤラーを始める。
【００４８】
一方、図４Ｂを参照すれば、移動装置は、現在の位置がバスである時にスナップジェスチャーがとられたので、バスでスナップジェスチャーをとる場合にマッピングされるアプリケーション動作を確認する。確認されたアプリケーション動作は、ゲーム開始動作である。
【００４９】
次いで、移動装置は、ゲームを始める。
【００５０】
図５Ａ及び図５Ｂは、本発明の一実施形態による時間基盤ジェスチャー情報に基づいて移動装置を動作させる方法を概略的に示すものである。その方法は図３Ａないし図４Ｂと類似しているので、差異のみを簡単に説明する。
【００５１】
図５Ａを参照すれば、移動装置は、振り（ｓｈａｋｅ）ジェスチャー及び午前６時情報とアラームオフ（Ａｌａｒｍ Ｏｆｆ）動作をマッピングして保存する。
【００５２】
現在時刻が午前６時である時、午前６時に振りジェスチャーをとる場合にマッピングされるアプリケーション動作を識別する。移動装置は、識別されたアラームオフ動作が振りジェスチャーにマッピングされるように定める。
【００５３】
次いで、移動装置は、アラームをオフする。
【００５４】
一方、図５Ｂを参照すれば、移動装置は、振りジェスチャー及び午後９時情報とアラームオン（Ａｌａｒｍ Ｏｎ）動作をマッピングして保存する。
【００５５】
次いで、移動装置は、現在の時刻が午後９時であるので、午後９時に振りジェスチャーをとる場合にマッピングされるアプリケーション動作を識別する。識別されたアプリケーション動作は、アラームオン動作である。
【００５６】
次いで、移動装置は、アラームをオンする。
【００５７】
図６Ａ及び図６Ｂは、本発明の一実施形態による感情基盤ジェスチャー情報に基づいて移動装置を動作させる方法を概略的に示すものである。
【００５８】
図６Ａを参照すれば、移動装置は、振りジェスチャー及び幸せ（Ｈａｐｐｙ）感情情報と音楽再生（Ｍｕｓｉｃ Ｐｌａｙ）動作をマッピングして保存する。例示として、感情情報は音声感知センサーを使い、ｄＢを測定して認識する。声の大きさが特定ｄＢ値以上ならば腹立ったと、または特定ｄＢ値以下ならば幸せだと判断する。音声感知センサーが感情状態の決定に用いられないとしても、本発明の実施形態によって他のセンサーや音量センサーと他のセンサーとの組み合わせが、代りに多様な感情やユーザの他の状態を定めるのに用いられうる。
【００５９】
次いで、移動装置は、定められたユーザの現在感情が幸せであるので、幸せな時に振りジェスチャーをとる場合にマッピングされるアプリケーション動作を確認する。確認されたアプリケーション動作は、音楽再生動作である。
【００６０】
次いで、移動装置は、ジェスチャー及び感情情報によって音楽を再生する。
【００６１】
一方、図６Ｂを参照すれば、移動装置は、振りジェスチャー及び腹立ち（Ａｎｇｒｙ）感情情報とシステムオフ（Ｓｙｓｔｅｍ Ｏｆｆ）動作をマッピングして保存する。
【００６２】
次いで、移動装置は、現在の感情が腹立ち（Ａｎｇｒｙ）であるので、腹立つ時に振りジェスチャーをとる場合にマッピングされるアプリケーション動作を確認する。確認されたアプリケーション動作は、システムオフ動作である。
【００６３】
次いで、移動装置は、システムをオフする。
【００６４】
図７は、本発明の一実施形態による移動装置７００の概略的なブロック図である。
【００６５】
図７を参照すれば、移動装置７００は、ジェスチャー感知部７１０、状況情報獲得部７２０、処理部７３０、メモリ７４０、提供部７５０、及び入力部７６０を備える。処理部７３０は、ジェスチャー設定部７３２及びジェスチャー実行部７３４のうち少なくとも一つを備える。
【００６６】
ジェスチャー感知部７１０は、ユーザのジェスチャーを感知する。ジェスチャー感知部７１０は、加速度計、ジャイロスコープ、カメラ、地磁気センサー、圧力センサー、タッチスクリーン及び距離測定器など、ユーザの移動装置に対する動きを感知するためのあらゆる装置を備えるか、またはこれら装置と連動する。但し、これらの例示に限定されるものではなく、ジェスチャー感知部７１０は、ジェスチャーを感知できる他のセンサーも備える。
【００６７】
状況情報獲得部７２０は、位置、時間、感情などの状況情報を獲得できる。次いで、状況情報獲得部７２０は、アプリケーション動作実行を意図する状況情報をジェスチャー設定部７３２に伝達する。また、状況情報獲得部７２０は、ジェスチャーがとられる時点の状況情報をジェスチャー実行部７３４に伝達する。状況情報獲得部７２０は、例えば、個人情報管理システム（ＰＩＭＳ：Ｐｅｒｓｏｎａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）と連動し、ユーザの日程を検索して状況情報を獲得する。また、状況情報獲得部７２０は、ＧＰＳ受信インターフェース、ワイファイ・インターフェース、及びセルラーインターフェースのうち少なくとも一つのインターフェースを備えるか、または、これらと連動して位置情報を獲得する（図示せず）。
【００６８】
また状況情報獲得部７２０は、例えば、時計、照度センサーなどを備えるか、またはこれらと連動して時間情報を獲得する（図示せず）。但し、これらの状況情報獲得方法は例示に過ぎず、これらに限定されるものではない。
【００６９】
メモリ７４０は、制限なしに磁気媒体、光媒体、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、移動式媒体、またはいずれかの好適なローカルまたはリモートメモリのコンポーネントを含む一種の揮発性または不揮発性メモリ７４０である。メモリ７４０は、処理部７３０の実行可能なソフトウェア、ロジッグモジュールまたはコンポーネントを含む。メモリ７４０はまた、ユーザのジェスチャー情報、状況情報、アプリケーション動作、マッピング情報などを保存またはローディングするための保存空間である。また、メモリ７４０は、ＰＩＭＳなどの多様なアプリケーションを含む。メモリ７４０のコンポーネントは、本発明の技術的思想の範囲内で特定の要求または希望によって処理するように結合及び／または分割される。
【００７０】
処理部７３０は、マイクロプロセッサー、制御器、またはいずれかの好適なコンピュータ装置または資源である。処理部７３０は、移動装置７００内で利用可能な機能を具現できるように、多様なコンピュータ言語の各種コンピュータ命令を行うように構成されている。処理部７３０は特に、移動装置７００の管理及び動作の制御に好適なすべての制御器を含む。
【００７１】
処理部７３０は、ジェスチャー設定部７３２及びジェスチャー実行部７３４を備える。
【００７２】
ジェスチャー設定部７３２は、ユーザのジェスチャー及び状況情報を認識し、その認識したジェスチャー及び前記状況情報を組み合わせた状況基盤ジェスチャー情報を生成し、状況基盤ジェスチャー情報と複数のアプリケーション動作のうち一つをマッピングし、そして前記マッピングされる状況基盤ジェスチャー情報及びアプリケーション動作をメモリ７４０に保存する。この時、ジェスチャー設定部７３２は、複数のアプリケーション動作を含むアプリケーション動作リストを提供部７５０に出力させた後、アプリケーション動作リストからユーザによって選択されたアプリケーション動作を獲得する。
【００７３】
ジェスチャー実行部７３４は、ユーザのジェスチャー及び状況情報を認識し、その認識したジェスチャー及び前記状況情報を組み合わせた状況基盤ジェスチャー情報を生成し、前記状況基盤ジェスチャー情報に対応するアプリケーション動作を行う。例えば、ジェスチャー実行部７３４は、ユーザがジェスチャーをとれば、該時点に状況情報獲得部７２０で獲得した未加工データに基づいて、とられたジェスチャーを認識する。またジェスチャー実行部７３４は、該時点の位置情報または時間情報を獲得する。ジェスチャー実行部７３４は、前記獲得された情報に基づいてメモリ７４０で検索を行って獲得された情報に対応するアプリケーション動作を認識した後、該当のアプリケーション動作を行わせる。
【００７４】
提供部７５０は、複数のアプリケーション動作を含むアプリケーション動作リスト、状況情報、マッピング情報などを提供する。例えば、提供部７５０は、ディスプレイ部である。但し、本発明がこれらに限定されず、他の出力装置が用いられてもよい。
【００７５】
入力部７６０は、ユーザが装置に入力を伝達するためのインターフェースを提供する。入力部７６０は、キーボード、キーパッド、トラックホイール、ノブ、タッチパッド、ステンシル、またはユーザが装置に入力を伝達できるいかなるコンポーネントも含む。
【００７６】
他の実施形態による移動装置７００は、図７に示す装置のコンポーネントのうち一部を備えなくてもよい。注意すべき点は、他の実施形態による移動装置７００は、装置に関して具体的に図示していないさらなるコンポーネントを備えることもあるということである。例えば、移動装置７００は、ワイファイ・インターフェース、セルラーインターフェース、ＧＰＳ受信インターフェースなどの通信インターフェースを備える（図示せず）。通信インターフェースは、他のハンドヘルド装置またはコンポーネントなどの他の装置とのデータ及び情報の無線または有線通信を支援する。
【００７７】
以下、図８は、図７の移動装置７００がユーザフィードバック情報を獲得する方法を概略的に示すものである。
【００７８】
図８を参照すれば、ディスプレイ部７５０ａは、複数のアプリケーション動作を含むアプリケーション動作リストをユーザにディスプレイする。ユーザは、前記アプリケーション動作リストで、特定状況情報とマッピングするアプリケーション動作を選択する。入力部７６０は、ユーザによるアプリケーション動作選択結果（ｓｅｌｅｃｔｉｏｎ）を受信する。
【００７９】
他の例として、ディスプレイ部７５０ａは、認識されたジェスチャー及び状況情報をディスプレイする。ユーザは、ディスプレイ部７５０ａに出力されたジェスチャー及び状況情報を見て、該ジェスチャー及び状況情報がユーザの意図に合うかどうかを判断し、誤りのあるジェスチャー及び状況情報を入力部７６０を通じて削除する。特定の実施形態においては、ディスプレイ部７５０ａと入力部７６０とが同じコンポーネント（例えば、タッチスクリーン）に結合されうるということに注目せねばならない。
【００８０】
以下、図９及び図１０は、本発明の一実施形態による移動装置８００を動作させる方法を詳細に説明するフローチャートである。
【００８１】
図９は、図７の移動装置７００が、状況基盤ジェスチャー情報とそれに対応するアプリケーション動作とを登録する方法の一実施形態を詳細に説明するフローチャートである。
【００８２】
本発明による移動装置７００で、図９及び図１０の移動装置７００の動作方法は、図７に示したような移動装置７００の内部で行われるが、実施形態によって移動装置７００内の周辺構成要素に助けられて処理部７３０の内部で行われる。
【００８３】
図７及び図９を参照すれば、段階９１０で、ユーザはジェスチャー生成のために移動装置７００がジェスチャーを認識するように準備させる（Ｓ９１０）。
【００８４】
段階９２０で、ユーザが移動装置７００を使ってジェスチャーをとる（Ｓ９２０）。
【００８５】
段階９３０で、ジェスチャー設定部７３２は、内蔵されたジェスチャー感知部７１０を使って該ジェスチャーの未加工データを獲得する（Ｓ９３０）。
【００８６】
段階９４０で、ジェスチャー設定部７３２は、該未加工データをジェスチャーとして認識する（Ｓ９４０）。
【００８７】
段階９５０で、ジェスチャー設定部７３２は、該ジェスチャーがとられた時の位置情報を状況情報獲得部７２０から獲得する（Ｓ９５０）。
【００８８】
段階９６０で、ジェスチャー設定部７３２は、ユーザに認識されたジェスチャー情報を提供部７５０に出力し、認識された結果に関する情報を提供する（Ｓ９６０）。
【００８９】
段階９７０で、ユーザは、ユーザが意図したジェスチャーを、入力部７６０を通じて選択する（Ｓ９７０）。
【００９０】
段階９８０で、ジェスチャー設定部７３２は、ユーザがジェスチャーをとる時に認識された位置情報があるかどうかを確認する（Ｓ９８０）。
【００９１】
段階９９０で、ジェスチャー設定部７３２は、該情報がある場合に該情報を提供部７５０に出力する。ユーザが位置情報及び時間情報を選択しない場合には、直ぐアプリケーション動作リストを提供部７５０に出力する（Ｓ９９０）。
【００９２】
段階１０００で、ユーザは、位置または時間または位置及び時間情報を入力部７６０を通じて選択する（Ｓ１０００）。
【００９３】
段階１０１０で、位置情報のない場合には、時間情報のみを提供部７５０に出力する。ユーザが時間情報を選択しない場合には、直ぐアプリケーション動作リストを提供部７５０に出力する（Ｓ１０１０）。
【００９４】
段階１０２０で、ユーザが時間情報を、入力部７６０を通じて選択する（Ｓ１０２０）。
【００９５】
段階１０３０で、ジェスチャー設定部７３２は、該ジェスチャーに割り当てたアプリケーション動作リストを提供部７５０に出力する（Ｓ１０３０）。
【００９６】
段階１０４０で、ユーザは、出力されたアプリケーション動作リストのうち所望のアプリケーション動作を、入力部７６０を通じて選択する（Ｓ１０４０）。
【００９７】
段階１０５０で、ジェスチャー設定部７３２は、ジェスチャー及び状況情報（位置、時間、または位置及び時間）を組み合わせた状況基盤ジェスチャー情報と、前記状況基盤ジェスチャー情報に対応されるアプリケーション動作とを保存する（Ｓ１０５０）。
【００９８】
図１０は、図７の移動装置７００が状況基盤ジェスチャー情報に対応するアプリケーション動作を行う方法の一実施形態を詳細に説明するフローチャートである。
【００９９】
図７及び図１０を参照すれば、段階１１００で、ユーザが移動装置７００に、ジェスチャーを認識するように準備させる（Ｓ１１００）。
【０１００】
段階１２００で、ユーザがジェスチャーをとる（Ｓ１２００）。
【０１０１】
段階１３００で、ジェスチャー実行部７３４は、内蔵された状況情報獲得部７２０を使って未加工データを獲得する（Ｓ１３００）。
【０１０２】
段階１４００で、ジェスチャー実行部７３４は、獲得した未加工データを使ってジェスチャーを識別する（Ｓ１４００）。
【０１０３】
段階１５００で、ジェスチャー実行部７３４は、該ジェスチャーが行われた時点の移動装置の位置及び時間情報を状況情報獲得部７２０から獲得する（Ｓ１５００）。
【０１０４】
段階１６００で、ジェスチャー実行部７３４は、位置及び時間情報を獲得したかどうかを確認する（Ｓ１６００）。
【０１０５】
段階１７００で、位置及び時間情報がある場合、ジェスチャー実行部７３４は、認識されたジェスチャー及び位置と時間に対応する状況基盤ジェスチャー情報があるかどうかを検索する（Ｓ１７００）。
【０１０６】
段階１８００で、ジェスチャー実行部７３４は、段階１６００で獲得された情報がない場合、認識されたジェスチャーに対応するジェスチャーがあるかどうかを検索する（Ｓ１８００）。
【０１０７】
段階１９００で、ジェスチャー実行部７３４は、検索された状況基盤ジェスチャー情報と連関するアプリケーション動作があるかどうかを検索する。または検索されたジェスチャーに対応するアプリケーション動作があるかどうかを検索する。アプリケーション動作のない場合、再びジェスチャー実行待ち状態に切り替える（Ｓ１９００）。
【０１０８】
段階２０００で、ジェスチャー実行部７３４は、割り当てられたアプリケーション動作を行う（Ｓ２０００）。
【０１０９】
また、本発明の一実施形態によるユーザのジェスチャーを認識して移動装置を動作させる方法は、コンピュータで読み取り可能記録媒体にコンピュータで読み取り可能なコードとして具現できる。コンピュータで読み取り可能記録媒体は、コンピュータシステムによって読み取られる情報が保存されるすべての種類の保存装置を含む。コンピュータで読み取り可能記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光情報保存装置などがあり、またキャリアウェーブ（例えば、インターネットを通じる送信）の形態に具現されるものも含む。また、コンピュータで読み取り可能記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードとして保存されて行われる。そして、ユーザのジェスチャーを認識して移動装置を動作させる方法を具現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論される。
【０１１０】
これまで本発明についてその望ましい実施形態を中心として説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲内で変形された形態に具現できるということを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にあるすべての差異は本発明に含まれていると解釈されねばならない。
【符号の説明】
【０１１１】
７００    移動装置
７１０    ジェスチャー感知部
７２０    状況情報獲得部
７３０    処理部
７３２    ジェスチャー設定部
７３４    ジェスチャー実行部
７４０    メモリ
７５０    提供部
７５０Ａ    ディスプレイ部
７６０    入力部
【図４ａ】
2013539579.tif 000003
【図４ｂ】
2013539579.tif 000004
【図５ａ】
2013539579.tif 000005
【図５ｂ】
2013539579.tif 000006
【図６ａ】
2013539579.tif 000007
【図６ｂ】
2013539579.tif 000008
【図１】
2013539579.tif 000009
【図２】
2013539579.tif 000010
【図３Ａ】
2013539579.tif 000011
【図３Ｂ】
2013539579.tif 000012
【図３Ｃ】
2013539579.tif 000013
【図７】
2013539579.tif 000014
【図８】
2013539579.tif 000015
【図９】
2013539579.tif 000016
【図１０】
2013539579.tif 000017
【国際調査報告】
2013539579.tif 000018
2013539579.tif 000019