(57)【要約】【課題】電子機器に隣接する空間上で発生するユーザインタラクションを利用した電子機器とその制御方法、及び電子機器制御システムを提供する。【解決手段】本発明による入力インタラクションを利用する電子機器の制御方法は、電子機器に隣接する空間から１つ以上のインタラクションを認識する段階と、１つ以上のインタラクションに対応して電子機器を制御する段階と、を有する。【選択図】図１０
2013164701.tif 000002
【特許請求の範囲】
【請求項１】
入力インタラクションを利用する電子機器であって、
前記電子機器に隣接する空間上で発生する１つ以上のインタラクションを認識するデバイスと、
前記デバイスが認識する１つ以上のインタラクションによって前記電子機器を制御する制御部と、を備えることを特徴とする電子機器。
【請求項２】
前記デバイスは、
前記電子機器の周辺で平面上に行われるユーザジェスチャーによる平面インタラクションを認知する第１デバイスと、
前記電子機器の周辺で空間上に行われるユーザジェスチャーによる空間インタラクションを認知する第２デバイスと、を含むことを特徴とする請求項１に記載の電子機器。
【請求項３】
前記第１デバイス及び前記第２デバイスは、同一のタイプで構成されるか又は互いに異なるタイプで構成されることを特徴とする請求項２に記載の電子機器。
【請求項４】
前記デバイスは、ユーザジェスチャーによるインタラクションが認識される認識範囲を有し、
前記認識範囲は、前記デバイスの構成に対応して多数個に区分され、区分された各々の認識範囲の間に重畳領域を形成することを特徴とする請求項２に記載の電子機器。
【請求項５】
前記デバイスは、前記重畳領域の認識範囲から平面インタラクション及び空間インタラクションに対応する情報を提供し、前記重畳領域以外の個別認識範囲から平面インタラクション又は空間インタラクションに対応する情報を提供することを特徴とする請求項４に記載の電子機器。
【請求項６】
前記制御部は、前記デバイスからの情報によって平面インタラクション及び空間インタラクションを区分し、区分された少なくとも１つのインタラクションに対応して前記電子機器を制御することを特徴とする請求項５に記載の電子機器。
【請求項７】
入力インタラクションを利用する電子機器制御システムであって、
前記電子機器に隣接する空間で平面上に行われるユーザジェスチャーによる平面インタラクションを認識する第１デバイスと、
前記電子機器に隣接する空間で空間上に行われるユーザジェスチャーによる空間インタラクションを認識する第２デバイスと、
前記平面インタラクション及び空間インタラクションを区分し、区分された少なくとも１つのインタラクションに対応して前記電子機器を制御する処理手段と、を備えることを特徴とする電子機器制御システム。
【請求項８】
前記第１デバイス及び前記第２デバイスは、同一のタイプのデバイスであるか又は互いに異なるタイプのデバイスであることを特徴とする請求項７に記載の電子機器制御システム。
【請求項９】
前記第１デバイスは前記平面インタラクションのための認識範囲を有し、前記第２デバイスは前記空間インタラクションのための認識範囲を有し、
前記第１デバイスの認識範囲及び前記第２デバイスの認識範囲は、重畳する領域を有することを特徴とする請求項８に記載の電子機器制御システム。
【請求項１０】
入力インタラクションを利用する電子機器の制御方法であって、
前記電子機器に隣接する空間から１つ以上のインタラクションを認識する段階と、
前記１つ以上のインタラクションに対応して前記電子機器を制御する段階と、を有することを特徴とする電子機器の制御方法。
【請求項１１】
前記１つ以上のインタラクションを認識する段階は、
前記電子機器に隣接する空間からユーザジェスチャーを感知する段階と、
前記ユーザジェスチャーに対応する１つ以上のインタラクションを認識する段階と、を含むことを特徴とする請求項１０に記載の電子機器の制御方法。
【請求項１２】
前記１つ以上のインタラクションを認識する段階は、
前記電子機器に隣接する空間上で前記ユーザジェスチャーが発生する認識範囲によって平面インタラクション及び空間インタラクションのうちの少なくとも１つのインタラクションを認識することを特徴とする請求項１１に記載の電子機器の制御方法。
【請求項１３】
前記ユーザジェスチャーが発生する認識範囲は、前記平面インタラクションのための認識範囲と前記空間インタラクションのための認識範囲とに区分され、前記平面インタラクションのための認識範囲と前記空間インタラクションのための認識範囲とが重畳された領域を含むことを特徴とする請求項１２に記載の電子機器の制御方法。
【請求項１４】
前記電子機器を制御する制御する段階は、
前記平面インタラクション及び空間インタラクションのうちのいずれか１つのインタラクションを識別し、識別されたインタラクションに対応して前記電子機器を制御する段階を含むことを特徴とする請求項１２に記載の電子機器の制御方法。
【請求項１５】
前記電子機器を制御する制御する段階は、
前記平面インタラクション及び空間インタラクションが一緒に発生すると、前記平面インタラクション及び空間インタラクションに対応して前記電子機器を制御する段階を含むことを特徴とする請求項１２に記載の電子機器の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザインタラクションを利用した電子機器とその制御方法、及び電子機器制御システムに関し、より詳細には、電子機器に隣接する空間上で発生するユーザインタラクションによって制御される電子機器とその制御方法、及び電子機器制御システムに関する。
【背景技術】
【０００２】
最近、通信技術の急速な発展に伴い、電子機器の機能が徐々に拡大され、これにより、更に多様なユーザインターフェース（ＵＩ：Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）及びそれを利用した多様な機能が提供されている。また、電子機器では、多様な機能を制御するための多様な入力方式が提供されている。
【０００３】
一般的な電子機器において、当該電子機器の制御、即ち当該電子機器に与えられた多様な機能を実行するために、電子機器に設けられたキーに対するキー入力を通じて制御することができる。或いはタッチスクリーン（ｔｏｕｃｈ  ｓｃｒｅｅｎ）が設けられた電子機器の場合、タッチスクリーンの特定領域へのタッチ入力を通じて電子機器を制御することができる。このように、従来は、電子機器の制御のための特定の入力手段に直接入力を発生させることによって、電子機器の制御が可能である。
【０００４】
しかし、上記のように、一般的な電子機器の制御は、当該電子機器が提供する各機能の制御が単純にキー入力又はタッチ入力で行われる。従って、電子機器の各機能は、キー入力又はタッチ入力だけによって制御される制約による限界性を有し、また、各機能は、キー入力又はタッチ入力のように画一化された入力方式だけによって制御される単純性を有する問題点がある。また、従来、１つの電子機器の制御のための入力手段は、異なる種類の入力装置の同時入力に対して融合させて当該結果を出力する機能を支援しない問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、ユーザインタラクションを利用し、電子機器に隣接する空間上に発生するユーザインタラクションによって制御され、また電子機器に隣接する空間で入力される複合的なユーザインタラクションによって制御され、また電子機器に隣接する空間上で発生する１つ以上のインタラクションを認識して１つ以上のインタラクションによって制御される電子機器とその制御方法、及び電子機器制御システムを提供することにある。
また、本発明の目的は、電子機器で提供される多様な機能を容易且つ直観的に利用することができるマルチモーダルインターフェースを提供し、電子機器に隣接する空間で平面インタラクションと空間インタラクションのうちの１つ以上のインタラクションを認知し、平面インタラクション及び空間インタラクションのうちの少なくとも１つのインタラクションによって簡便に且つ直観的に制御される電子機器とその制御方法、及び電子機器制御システムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するためになされた本発明の一態様による入力インタラクションを利用する電子機器は、前記電子機器に隣接する空間上で発生する１つ以上のインタラクションを認識するデバイスと、前記デバイスが認識する１つ以上のインタラクションによって前記電子機器を制御する制御部と、を備えることを特徴とする。
【０００７】
上記目的を達成するためになされた本発明の一態様による入力インタラクションを利用する電子機器制御システムは、前記電子機器に隣接する空間で平面上に行われるユーザジェスチャーによる平面インタラクションを認識する第１デバイスと、前記電子機器に隣接する空間で空間上に行われるユーザジェスチャーによる空間インタラクションを認識する第２デバイスと、前記平面インタラクション及び空間インタラクションを区分し、区分された少なくとも１つのインタラクションに対応して前記電子機器を制御する処理手段と、を備えることを特徴とする。
【０００８】
上記目的を達成するためになされた本発明の一態様による入力インタラクションを利用する電子機器の制御方法は、前記電子機器に隣接する空間から１つ以上のインタラクションを認識する段階と、前記１つ以上のインタラクションに対応して前記電子機器を制御する段階と、を有することを特徴とする。
【０００９】
前記デバイスは、前記電子機器に隣接する空間上で発生する平面インタラクション及び空間インタラクションのうちの１つ以上のインタラクションを感知することを特徴とする。また、前記デバイスは、ユーザジェスチャーによる前記平面インタラクションを認知するデバイスと、ユーザジェスチャーによる空間インタラクションを認知するデバイスとに区分されることを特徴とする。
前記デバイスが多数個で構成される場合、前記デバイスは、同一のタイプで構成されるか又は互いに異なるタイプで構成されることを特徴とする。また、前記デバイスは、ユーザジェスチャーによるインタラクションが認識される認識範囲を有し、前記認識範囲は、前記デバイスの構成に対応して多数個に区分され、区分された各々の認識範囲の間に重畳領域を含むことを特徴とする。
前記デバイスは、認識範囲でインタラクションを感知すると、前記インタラクションに対応するユーザジェスチャーの識別のための情報を提供することを特徴とする。また、前記デバイスは、前記重畳領域の認識範囲から平面インタラクション及び空間インタラクションに対応する情報を提供し、前記重畳領域以外の個別認識範囲から平面インタラクション又は空間インタラクションに対応する情報を提供することを特徴とする。
前記制御部を含む処理手段は、前記デバイスが提供する情報の分析によって前記インタラクションを区分することを特徴とする。また、前記処理手段は、１つ以上のデバイスが提供する情報によって平面インタラクション及び空間インタラクションのうちのいずれか１つのインタラクションを区分し、区分されたインタラクションに対応して前記電子機器を制御することを特徴とする。また、前記処理手段は、１つ以上のデバイスが提供する情報によって平面インタラクション及び空間インタラクションが一緒に発生すると、前記平面インタラクション及び空間インタラクションに対応して前記電子機器を制御することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、電子機器は、電子機器に隣接する空間から１つ以上のユーザインタラクションを認知する１つ以上のデバイスを含み、ユーザは、電子機器に隣接する空間上で設定されたユーザジェスチャーだけで電子機器を簡便且つ直観的に制御することができる。また、１つ以上のデバイスを通じて認知する１つ以上のユーザインタラクションに対する実行機能をユーザ設定によって定義することができるので、入力されたユーザインタラクションによって電子機器に対する多様な制御が可能になる。
【００１１】
また、本発明によれば、電子機器を制御するにあたって、従来の制限的且つ画一的な入力手段及び入力方式に限定されず、互いに異なるデバイスを利用したユーザジェスチャーによって実感ある制御及び直観的な制御が可能になる。即ち、本発明によれば、互いに異なるデバイスを通じて電子機器に隣接する空間上で行われるユーザジェスチャーを認知し、ユーザジェスチャーによるインタラクションを利用した電子機器の制御が可能になる。これにより、ユーザは、電子機器制御によるユーザ便宜及び親和性を向上させることができる。
【００１２】
また、本発明によれば、例えば電子機器を利用した演奏機能を実行する場合、電子機器に隣接する空間でユーザジェスチャーによるインタラクションによって楽器演奏が可能であり、多様な楽器オブジェクト（ドラム、ギター、トランペットなど）の特性に相当する楽器演奏を直観的且つ実感的に演奏することができる。このように、本発明によれば、キー入力や画面のタッチ入力以外の他の入力方式を用いて電子機器を制御するという点から、ユーザの電子機器制御入力に対する多様性を提供することができる効果がある。即ち、本発明によれば、ユーザは、入力の多様化を通じて、電子機器を制御する際に、より多様な方式による制御及び複合的な制御が可能であり、電子機器の制約的且つ画一的な制御方式を改善することで、電子機器を利用する際にリアリティー付与及び便宜性の向上を図ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態による電子機器を概略的に示す図である。
【図２】本発明の一実施形態による電子機器を概略的に示す図である。
【図３】本発明の一実施形態による電子機器を概略的に示す図である。
【図４】本発明の一実施形態による電子機器の構成を概略的に示す図である。
【図５】本発明の一実施形態による電子機器における平面及び空間インタラクションを認識する認識範囲を説明するための概略的な図である。
【図６】本発明の一実施形態による各認識範囲でユーザジェスチャーによる電子機器の運用方法を説明するための概略的な図である。
【図７】本発明の一実施形態による各認識範囲でユーザジェスチャーによる電子機器の運用方法を説明するための概略的な図である。
【図８】本発明の一実施形態による各認識範囲でユーザジェスチャーによる電子機器の運用方法を説明するための概略的な図である。
【図９】本発明の一実施形態による電子機器におけるユーザインタラクションを利用した制御方法を示す図である。
【図１０】本発明の一実施形態によるユーザインタラクションを利用した電子機器を制御する全体動作を概略的に示す図である。
【図１１】本発明の一実施形態による電子機器におけるユーザインタラクションに対応して当該機能を処理する一動作例を示す図である。
【図１２】本発明の一実施形態による電子機器におけるユーザインタラクションに対応して当該機能を処理する一動作例を示す図である。
【図１３】本発明の一実施形態による電子機器におけるユーザインタラクションに対応して当該機能を処理する一動作例を示す図である。
【図１４】本発明の一実施形態による電子機器におけるユーザインタラクションに対応して当該機能を処理する一動作例を示す図である。
【図１５】本発明の一実施形態による電子機器におけるユーザインタラクションに対応して当該機能を処理する他の動作例を示す図である。
【図１６】本発明の一実施形態による電子機器におけるユーザインタラクションに対応して当該機能を処理する他の動作例を示す図である。
【図１７】本発明の一実施形態による電子機器におけるユーザインタラクションに対応して当該機能を処理する更に他の動作例を示す図である。
【図１８】本発明の一実施形態による電子機器におけるユーザインタラクションに対応して当該機能を処理する更に他の動作例を示す図である。
【図１９】本発明の一実施形態による電子機器におけるユーザインタラクションに対応して当該機能を処理する更に他の動作例を示す図である。
【図２０】本発明の一実施形態による電子機器におけるユーザインタラクションに対応して当該機能を処理する更に他の動作例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明によるユーザインタラクションを利用した電子機器とその制御方法、及び電子機器制御システムを実施するための形態の具体例を、図面を参照しながら詳細に説明する。ここで、図面において同一の構成要素は、できるだけ同一の符号で示す。また、本発明の要旨を不明瞭にする可能性がある公知機能及び構成に対する詳細な説明は省略する。
【００１５】
本発明の電子機器は、電子機器に隣接する空間で発生する１つ以上のインタラクションを認知する少なくとも１つのデバイスを含む。また、本発明は、少なくとも１つのデバイスが認識する１つ以上のインタラクションによって電子機器の機能を制御する。
【００１６】
また、本発明の電子機器は、電子機器の周辺で平面上に行われるユーザジェスチャーによる平面インタラクションと、空間上に行われるユーザジェスチャーによる空間インタラクションと、平面インタラクションと空間インタラクションが一緒に行われる融合インタラクションとを区分して認知し、当該インタラクションに対応する機能を処理する。
【００１７】
このような本発明によると、電子機器に含まれるデバイスを活用してユーザのジェスチャー（手の形状、手の動き、移動方向など）を感知し、感知されたジェスチャーを予め設定された定義によって分類し、電子機器の意味ある入力として使用する。また、本発明の実施形態では、ユーザジェスチャーを感知して分別するために少なくとも１つのデバイスを使用し、分類された入力は、電子機器の制御インタラクションのために使用されるように定義する。
【００１８】
以下では、本発明の実施形態によって、ユーザインタラクションを利用する電子機器と、ユーザインタラクションを利用して電子機器を制御する方法について説明する。しかし、本発明の電子機器及びその制御動作は、下記で記述する内容に限定されるものではなく、下記の実施形態に基づいて多様な実施形態に適用することができる。
【００１９】
図１〜図３は、本発明の一実施形態による電子機器を概略的に示す図である。
【００２０】
図１〜図３を参照すると、図１は、本発明に利用される電子機器の１つである携帯端末の例を示すものであり、図２は、本発明に利用される電子機器の１つである案内システムの例を示すものであり、図３は、本発明に利用される電子機器の１つであるテレビの例を示すものである。
【００２１】
ここで、図１の携帯端末は、多様な通信システムに対応する通信プロトコル（ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｐｒｏｔｏｃｏｌｓ）に基づいて作動する全ての移動通信端末（ｍｏｂｉｌｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｔｅｒｍｉｎａｌｓ）を含む電子機器であり、ＰＭＰ（Ｐｏｒｔａｂｌｅ  Ｍｕｌｔｉｍｅｄｉａ  Ｐｌａｙｅｒ）、デジタル放送プレーヤー、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、音楽再生機（例えば、ＭＰ３プレーヤー）、携帯ゲーム端末、及びスマートフォン（Ｓｍａｒｔ  Ｐｈｏｎｅ）などの全ての情報通信機器とマルチメディア機器及びそれに対する応用機器を含む。また、図２の案内システムは、博物館、展示館、遊園地、街路などでユーザから要請される多様な案内情報を提供するものであり、壁面、柱、及び地面などに固定装着されるスクリーンモニタ、メディアポール（ｍｅｄｉａ  ｐｏｌｅ）などを含む。また、図３のテレビは、大型電子機器の例を示すものであり、このようなテレビ以外に、パソコン、パソコンのモニタ、ノートパソコン、ノートパソコンのモニタなどを含む。
【００２２】
図１〜図３に示したように、本実施形態による電子機器は、ユーザの入力に対応する出力を提供する手段を有し、このような電子機器は、ユーザが携帯可能な小型機器だけでなく、特定空間に固定される中大型機器も含む。従って、以下では、電子機器が携帯端末である場合を代表的な例として説明するが、本発明の電子機器は、上述したように、多様な形態の全ての機器を含む。
【００２３】
このような本発明による電子機器は、電子機器に隣接する空間で発生する１つ以上のユーザインタラクションを感知し、ユーザインタラクションによる機能制御を処理する。このために、本発明の電子機器は、１つ以上のユーザインタラクションが入力される１つ以上のデバイスを含む。以下、１つ以上のデバイスを含む電子機器に対する構成例を、図４を参照して説明する。
【００２４】
図４は、本発明の一実施形態による電子機器の構成を概略的に示す図である。特に、図４では、電子機器を、ユーザインタラクションを利用することができる携帯端末の１つの形態の例として示すが、本発明の電子機器は、必ずしも携帯端末に限定されるものではなく、上述したように、多様な小型機器及び中大型機器を全て利用することができる。
【００２５】
図４を参照すると、本実施形態による電子機器は、１つ以上のデバイスを含む。例えば、電子機器は、第１デバイス４１０、第２デバイス４３０、及び第３デバイス４５０を含む。本実施形態において第１〜第３デバイス４１０、４３０、４５０の各デバイスは、電子機器に隣接する特定空間で入力されるユーザジェスチャーに対応する１つ以上のインタラクションを認識する手段を示す。
【００２６】
本実施形態において、各デバイス４１０、４３０、４５０は、ユーザジェスチャーを追跡し、それによる結果値の生成が可能な全ての形態の認識手段を含む。例えば、デバイス４１０、４３０、４５０は、近接センサー、赤外線センサー、照度センサー、カメラセンサーなどの認識手段を含む。図４の例の場合、電子機器は、第１デバイス４１０及び第２デバイス４３０がカメラセンサーであり、第３デバイス４５０が近接センサーである場合を例として示す。即ち、図４の電子機器は、２つのカメラセンサー４１０、４３０と１つの近接センサー４５０とで構成されたデバイスを含む携帯端末を示す。
【００２７】
ここで、図４の各デバイス４１０、４３０、４５０の位置は、必ずしも図４の形態に限定されるものではない。例えば、図４では、カメラセンサーに該当する第１デバイス４１０と第２デバイス４３０が電子機器の左右の側部に各々１つずつ設けられ、近接センサーに該当する第３デバイス４５０が電子機器の内部に形成される場合を例として示した。しかし、第１デバイス４１０及び第２デバイス４３０が電子機器の上下の側部に各々１つずつ設けられ、第３デバイス４５０が第１デバイス４１０及び第２デバイス４３０のうちのいずれか１つ又は両方に隣接して配置されるなどのように、電子機器を製造する際に多様な方式で構成され得ることは勿論である。
【００２８】
また、図４の例では、電子機器が多数個の異なるデバイスを含むものとして示したが、本発明の電子機器は、必ずしもこのようなデバイスの構成に限定されない。即ち、本発明の電子機器は、１つのデバイスよりなることができる。また、本発明の電子機器は、第１デバイス４１０及び第２デバイス４３０のように、同一のタイプのデバイスが多数個よりなることができる。また、本発明の電子機器は、第１デバイス４１０、第２デバイス４３０、及び第３デバイス４５０のように、異なるタイプのデバイスの組み合わせよりなることができる。このようなデバイスの構成は、電子機器の形態によって多様に提供され得る。
【００２９】
例えば、電子機器は、近接センサー、赤外線センサー、照度センサー、及びカメラセンサーなどの認識手段のうちのいずれか１つの認識手段でデバイスを構成するか、又は１つの近接センサーと１つのカメラセンサーの組み合わせでデバイスを構成するか、又は１つの近接センサーと多数個のカメラセンサーの組み合わせでデバイスを構成することができる。
【００３０】
以下では、本発明の実施形態を説明するにあたって、図４の例で示したように、電子機器の左右の側部にカメラセンサーが各々設けられ、電子機器の内部に１つの近接センサーが設けられた携帯端末を参照して本発明の動作を説明する。
【００３１】
即ち、以下では、図４に示したような、カメラセンサーに該当する第１デバイス４１０及び第２デバイス４３０と、近接センサーに該当する第３デバイス４５０を活用して電子機器の周辺で行われるユーザジェスチャー（例えば、手の形状、手の動作、手の移動方向など）を認識する。また、少なくとも１つのデバイスで認識されたユーザジェスチャーを電子機器の制御のためのインタラクション入力として処理する。
【００３２】
ここで、本実施形態において、近接センサーに対応する第３デバイス４５０は、電子機器に隣接する空間で発生するユーザジェスチャーが電子機器に近接する状態（近接状態）を判断し、このための基準を提供する。また、第３デバイス４５０は、身体（例えば、ユーザの手など）の近接認識及び電子機器に隣接する空間上における領域を区分する用途に使用される。即ち、第３デバイス４５０は、電子機器から特定距離までの物体の近接の有無を感知し、本実施形態では、ユーザの手の近接を感知し、電子機器の当該機能を判別する役目を担当する。即ち、第３デバイス４５０は、電子機器に隣接する空間上で行われるユーザジェスチャーによる空間インタラクションを利用して制御信号を発生する。
【００３３】
また、本実施形態において、カメラセンサーに対応する第１デバイス４１０及び第２デバイス４３０は、ユーザジェスチャーを感知し、ユーザジェスチャーの動き方向、動き速度、及びジェスチャー形状（手の形状など）などを測定するのに利用される。特に、第１デバイス４１０及び第２デバイス４３０は、電子機器に隣接する空間上で行われるユーザジェスチャーによる平面インタラクションを利用して制御信号を発生する。
【００３４】
ここで、第１デバイス４１０及び第２デバイス４３０と、第３デバイス４５０でユーザジェスチャーによる空間インタラクション及び平面インタラクションが一緒に発生する場合、本発明では、空間インタラクション及び平面インタラクションを融合インタラクションとして定義し、融合インタラクションによる制御信号が発生するものとして説明する。即ち、本実施形態によると、特定のユーザジェスチャーが第１デバイス４１０及び第２デバイス４３０のうちのいずれか１つにより感知された状態で、第３デバイス４３０でも一緒に感知されると、第３デバイス４３０によってユーザジェスチャーによるインタラクションを段階別、即ち近接レベル別に区分して電子機器の当該機能を制御する。
【００３５】
例えば、近接センサーを通じて空間インタラクションを認知すると、空間インタラクションのユーザジェスチャーによりマッピングされた当該機能を行うように電子機器を制御し、カメラセンサーを通じて平面インタラクションを認知すると、平面インタラクションのユーザジェスチャーによりマッピングされた当該機能を行うように電子機器を制御し、カメラセンサー及び近接センサーを通じて融合インタラクションを認知すると、融合インタラクションのユーザジェスチャーによりマッピングされた当該機能を行うように電子機器を制御する。このような例については、後述する各実施形態による図面及び表を参照して説明する。
【００３６】
上述のように、本発明の動作のための諸構成としては、ユーザのジェスチャーによるインタラクションを感知する近接センサー、カメラセンサー、赤外線センサー、照度センサーなどのようなデバイスと、デバイスを含む電子機器と、そして少なくとも１つのデバイスから感知されたインタラクションを入力として機能制御を処理する処理部（例えば、制御部、各機能に対応する実行アプリケーションなど）よりなることができる。ここで、制御部は、本実施形態によるインタラクションを利用した電子機器の制御を担当し、実行アプリケーションは、後述する例に示すように、楽器演奏アプリケーション、イメージビューアーアプリケーション、カメラ機能関連アプリケーションなどを含み、このようなアプリケーションは、１つ以上のデバイスを用いたインタラクションによって定義された動作を行う。
【００３７】
図５は、本発明の一実施形態による電子機器における平面及び空間インタラクションを認識する認識範囲を説明するための概略的な図である。
【００３８】
先ず、本実施形態による電子機器に含まれる１つ以上のデバイスを利用してユーザの手の動きなどのようなジェスチャーを感知し、感知されたジェスチャーを予め設定された定義によって分類し、電子機器の意味ある入力として使用する。ここで、本実施形態では、ジェスチャーを感知して分別するのに少なくとも１つのデバイスが利用され、分類された入力を、電子機器の制御インタラクションのために使用されるように定義する。
【００３９】
図５を参照すると、本実施形態において定義される１つ以上のデバイスでインタラクションを認識するための認識範囲を、第１デバイス４１０及び第２デバイス４３０が平面インタラクションを認識する平面認識範囲５１０、５３０と、第３デバイス４５０が空間インタラクションを認識する空間認識範囲５５０とに区分する。
【００４０】
本実施形態において、平面認識範囲５１０、５３０は、第１デバイス４１０及び第２デバイス４３０が電子機器に隣接する空間からユーザの平面インタラクションを感知するための範囲を示し、空間認識範囲５５０は、第３デバイス４５０が電子機器に隣接する空間からユーザの空間インタラクションを感知するための範囲を示す。ここで、平面認識範囲５１０、５３０は、図４及び図５の例に示すように、第１デバイス４１０及び第２デバイス４３０の電子機器に対する位置によって各々左右の領域に区分され、ユーザの左手及び右手による各ジェスチャーを認識するように配置される。
【００４１】
ここで、本実施形態では、第１デバイス４１０〜第３デバイス４５０のうちの少なくとも１つのデバイスの認識範囲でユーザのジェスチャーを認識し、ジェスチャーに対するインタラクションを判別する。また、インタラクションによって電子機器を制御する。
【００４２】
例えば、ユーザが電子機器を利用して楽器演奏を行う場合を仮定すると、ユーザは、電子機器に隣接する空間のうちの認識範囲５１０〜５３０内で設定されたジェスチャー入力によってインタラクションを発生する。すると、第１デバイス４１０及び／又は第２デバイス４３０は、平面認識範囲５１０及び／又は５３０でユーザのジェスチャーを認識し、それに対する平面インタラクションを発生することによって、楽器演奏による当該機能を処理する。また、第３デバイス４５０は、空間認識範囲５５０の限界点（境界線）を基準にして限界点の下側に進入するジェスチャーを認識し、楽器を打撃する空間インタラクションを発生することによって、楽器演奏による当該機能を処理する。また、第１デバイス４１０及び／又は第２デバイス４３０と第３デバイス４５０の平面認識範囲及び空間認識範囲でユーザのジェスチャーを認識し、それに対する融合インタラクションを発生することによって、楽器演奏による当該機能を処理する。
【００４３】
以上のように、本実施形態によると、少なくとも１つのデバイスによるインタラクションによって電子機器を区別するように制御することができる。これを概略的に整理すると、下記表１のように示すことができる。
【００４４】
【表１】
2013164701.tif 000003
【００４５】
上記表１に示したように、電子機器の制御部は、第１デバイス４１０の平面認識範囲５１０だけでインタラクションが感知されると、即ち第３デバイス４５０の空間認識範囲５５０の外側（例えば、限界点上端）のうちの平面認識範囲５１０でインタラクションが感知されると、平面認識範囲５１０で測定されたユーザのジェスチャーを分析し、当該ジェスチャーに予め定義された機能によって電子機器を制御する。
【００４６】
また、電子機器の制御部は、第２デバイス４３０の平面認識範囲５３０だけでインタラクションが感知されると、即ち第３デバイス４５０の空間認識範囲５５０の外側（例えば、限界点上端）のうちの平面認識範囲５３０でインタラクションが感知されると、平面認識範囲５３０で測定されたユーザのジェスチャーを分析し、当該ジェスチャーに予め定義された機能によって電子機器を制御する。
【００４７】
また、電子機器の制御部は、第３デバイス４５０の空間認識範囲５５０だけでインタラクションが感知されると、即ち第３デバイス４５０の空間認識範囲５５０の内側（例えば、限界点下端）のうちの平面認識範囲５１０、５３０以外の領域でインタラクションが感知されると、空間認識範囲５５０で測定されたユーザのジェスチャーを分析し、当該ジェスチャーに予め定義された機能によって電子機器を制御する。
【００４８】
また、電子機器の制御部は、第１デバイス４１０の平面認識範囲５１０と第３デバイス４５０の空間認識範囲５５０でインタラクションが感知されると、即ち第３デバイス４５０の空間認識範囲５５０の内側（例えば、限界点下端）のうちの平面認識範囲５１０が重畳する領域でインタラクションが感知されると、空間認識範囲５５０と平面認識範囲５１０が重畳する領域で測定されたユーザのジェスチャーを分析し、当該ジェスチャーに予め定義された機能によって電子機器を制御する。
【００４９】
また、電子機器の制御部は、第２デバイス４３０の平面認識範囲５３０と第３デバイス４５０の空間認識範囲５５０でインタラクションが感知されると、即ち第３デバイス４５０の空間認識範囲５５０の内側（例えば、限界点下端）のうちの平面認識範囲５３０が重畳する領域でインタラクションが感知されると、空間認識範囲５５０と平面認識範囲５３０が重畳する領域で測定されたユーザのジェスチャーを分析し、当該ジェスチャーに予め定義された機能によって電子機器を制御する。
【００５０】
また、電子機器の制御部は、第１デバイス４１０及び第２デバイス４３０の平面認識範囲５１０、５３０と第３デバイス４５０の空間認識範囲５５０でインタラクションが感知されると、即ち第３デバイス４５０の空間認識範囲５５０の内側（例えば、限界点下端）のうちの平面認識範囲５１０が重畳する領域と第３デバイス４５０の空間認識範囲５５０の内側（例えば、限界点下端）のうちの平面認識範囲５３０が重畳する領域の各々でインタラクションが感知されると、空間認識範囲５５０と平面認識範囲５１０が重畳する領域及び空間認識範囲５５０と平面認識範囲５３０が重畳する領域で測定された各々のユーザのジェスチャーを分析し、当該ジェスチャーに予め定義された機能によって電子機器を制御する。
【００５１】
また、上述したように、本実施形態では、各認識範囲に対応して平面インタラクション、空間インタラクション、及び融合インタラクションに区分し、測定されたユーザジェスチャーと当該ジェスチャーに対して定義された情報によって当該機能制御を処理する。以上のように、本実施形態では、１つ以上のデバイスの認識範囲を利用して空間を区分して使用することによって、２つ或いはそれ以上のレベルに対するインタラクションを可能にする。
【００５２】
以下では、上述した本発明の具体的な実施形態について図６〜図８を参照して説明する。
【００５３】
図６〜図８は、本発明の一実施形態による各認識範囲でユーザジェスチャーによる電子機器の運用方法を説明するための概略的な図である。
【００５４】
図６を参照すると、第３デバイス４５０の空間認識範囲５５０の外側で、即ち重畳しない領域でユーザジェスチャーが第１デバイス４１０及び／又は第２デバイス４３０によって感知される場合及びそれによる動作を示す。即ち、ユーザは、第１デバイス４１０及び第２デバイス４３０の少なくとも１つの平面認識範囲のうちの空間認識範囲５５０と重畳しない領域で予め定義されたジェスチャーを発生することができる。ここで、ジェスチャーは、電子機器を基準にして上下左右の方向に該当する手の動きと、多様な形態の手の形状、多様な形態の手動作などを含む。これにより、電子機器の制御部は、第１デバイス４１０及び／又は第２デバイス４３０で認識するインタラクションによるジェスチャーを分析し、それにマッピングされた機能制御を処理する。
【００５５】
図７を参照すると、第３デバイス４５０の空間認識範囲５５０の内側で、即ち重畳する領域でユーザジェスチャーが第１デバイス４１０及び／又は第２デバイス４３０によって感知される場合及びそれによる動作を示す。即ち、ユーザは、第１デバイス４１０及び第２デバイス４３０の少なくとも１つの平面認識範囲のうちの空間認識範囲５５０と重畳する領域で予め定義されたジェスチャーを発生することができる。ここで、ジェスチャーは、電子機器を基準にして上下左右の方向に該当する手の動きと、多様な形態の手の形状、多様な形態の手動作などを含む。これにより、電子機器の制御部は、第１デバイス４１０及び／又は第２デバイス４３０と第３デバイス４５０で認識するインタラクションによるジェスチャーを分析し、それにマッピングされた機能制御を処理する。
【００５６】
図８を参照すると、第３デバイス４５０の空間認識範囲（限界点）を横切る、即ち重畳しない領域から重畳する領域に認識範囲が変更されるジェスチャーが感知される場合及びそれによる動作を示す。即ち、ユーザは、第１デバイス４１０及び第２デバイス４３０の少なくとも１つの平面認識範囲のうちの空間認識範囲５５０と重畳しない領域から重畳する領域にインタラクションが進入する予め定義されたジェスチャーを発生することができる。ここで、ジェスチャーは、空間認識範囲５５０の限界点を基準にして上側から下側に進入（例えば、打撃する行為など）する手の動作などを含む。これにより、電子機器の制御部は、第１デバイス４１０及び／又は第２デバイス４３０の認識範囲で第３デバイス４５０の認識範囲と重畳する領域に移動変更されたインタラクションを感知し、制御部は、インタラクションによるジェスチャーを分析し、それにマッピングされた機能制御を処理する。
【００５７】
図８の動作について、楽器演奏機能を行う場合を例にして説明すると、楽器の打撃は、ユーザインタラクションが空間認識範囲５５０の限界点の外側から内側に進入する動作によって制御することができる。ここで、第１デバイス４１０及び第２デバイス４３０の各々は、ユーザジェスチャーの進入によるフレームの変化を感知し、変化の程度によって打撃強度を認識することができる。また、空間感知範囲５５０の限界点の外側から内側に進入するジェスチャーに対して第１デバイス４１０及び／又は第２デバイス４３０のフレーム変化を分析し、それによって打楽器を強く打ったか、弱く打ったかを区分するようにできる。このような動作は、左側及び右側で同一に適用され、各々異なる音の入力として使用することができる。このような動作の例については、後述する図面を参照して説明する。
【００５８】
図９は、本発明の一実施形態による電子機器におけるユーザインタラクションを利用した制御方法を示す図である。
【００５９】
図９を参照すると、先ず、電子機器の制御部は、ユーザ要請に応答してユーザインタラクションを利用した電子機器制御のためのモードを活性化する（９０１段階）。ここで、モード活性化は、ユーザ要請によって適応的に活性化／不活性化することができ、或いは設定方式によって常に活性化状態であり得る。従って、モード活性化段階は、本実施形態において省略することができる。
【００６０】
次に、電子機器の制御部は、電子機器に隣接する空間上からインタラクションを感知する（９０３段階）。ここで、電子機器の制御部には、上述した図４〜図８を参照して説明したように、１つ以上のデバイスを通じて感知された１つ以上のインタラクションが入力される。
【００６１】
次に、電子機器の制御部は、入力されたインタラクションを区分する（９０５段階）。即ち、電子機器の制御部は、１つ以上のデバイスを通じて認識されるインタラクションの認識範囲を判断する。即ち、制御部は、インタラクションが１つ以上のデバイスの個別認識範囲で認識されるインタラクションであるか、又は少なくとも２つのデバイスへの重畳認識範囲で認識されるインタラクションであるかを判断する。また、制御部は、インタラクションが認識される当該認識範囲で測定されたユーザジェスチャーを識別する。
【００６２】
次に、電子機器の制御部は、入力されたインタラクションによる設定された機能を判断する（９０７段階）。即ち、インタラクションによって識別するユーザジェスチャーに予め定義された機能を判断する。そして、電子機器の制御部は、判断した機能制御を処理する（９０９段階）。
【００６３】
図１０は、本発明の一実施形態によるユーザインタラクションを利用した電子機器を制御する全体動作を概略的に示す図である。
【００６４】
図１０を参照すると、先ず、電子機器に隣接する空間上でユーザジェスチャーが発生すると、電子機器の制御部は、１つ以上のデバイスからユーザジェスチャーによるインタラクションを感知する（１０１０段階）。また、電子機器の制御部は、１つ以上のデバイスからインタラクションが感知されると、インタラクションを識別する手続きを処理する（１０２０段階）。
【００６５】
ここで、インタラクションは、電子機器がデバイスを具備する形態によって多様に示すことができる。例えば、電子機器が近接センサーなどのような空間上のインタラクションを認識するデバイスだけで構成される場合、デバイスによって空間インタラクションのみを感知する。また、電子機器がカメラセンサーなどのような平面上のインタラクションを認識するデバイスだけで構成される場合、デバイスによって平面インタラクションのみを感知する。また、電子機器が近接センサー及びカメラセンサーなどのように空間上のインタラクション及び平面上のインタラクションの両方を個別に認識可能となるように異なる種類のデバイスが多数個で構成される場合、デバイスによって空間インタラクション及び平面インタラクションのうちの少なくとも１つのインタラクションを感知する。
【００６６】
電子機器の制御部は、識別するインタラクションが平面インタラクションであると識別すると（１０３１段階）、上述の図４〜図９を参照して説明したように、平面インタラクションによる機能制御を処理する（１０３３段階）。この際、電子機器の制御部は、平面インタラクションのタイプ別に当該機能制御を処理することができる。例えば、カメラセンサーの認識範囲内で発生する各ユーザジェスチャー（手の動作、手の形状、移動方向など）に対応するように設定されたインタラクションを追跡し、インタラクションによる当該機能を制御する。
【００６７】
また、電子機器の制御部は、識別するインタラクションが空間インタラクションであると識別すると（１０４１段階）、上述の図４〜図９を参照して説明したように、空間インタラクションによる機能制御を処理する（１０４３段階）。この際、電子機器の制御部は、空間インタラクションのタイプ別に当該機能制御を処理することができる。例えば、近接センサーの認識範囲内で発生する各ユーザジェスチャー（手の動作、近接程度など）に対応するように設定されたインタラクションを追跡し、インタラクションによる当該機能を制御する。
【００６８】
また、電子機器の制御部は、識別するインタラクションが融合インタラクションであると識別すると（１０５１段階）、上述の図４〜図９を参照して説明したように、融合インタラクションによる機能制御を処理する（１０５３段階）。融合インタラクションは、空間インタラクション及び平面インタラクションが一緒に発生する場合のインタラクションを示す。即ち、空間インタラクションが感知される認識範囲と、平面インタラクションが感知される認識範囲が重畳する領域で発生するユーザジェスチャーを感知することができ、これを融合インタラクションとして処理する。この際、電子機器の制御部は、融合インタラクションのタイプ別に当該機能制御を処理することができる。例えば、近接センサー及びカメラセンサーの各認識範囲が重畳する領域内で発生する各ユーザジェスチャー（手の動作、接近程度、手の形状、移動方向など）に対応するように設定されたインタラクションを追跡し、インタラクションによる当該機能を制御する。
【００６９】
次に、電子機器の制御部は、上記のように、平面インタラクション、空間インタラクション、及び融合インタラクションによる機能制御中に、当該インタラクションの変化が感知されると（１０６０段階）、即ちユーザジェスチャーが感知される認識範囲又はジェスチャー形態が変更されると、１０２０段階に進行し、上述の各段階を継続する。
【００７０】
以下、上述した本発明による動作の実施形態及びそれらの画面例について説明する。しかし、本発明の実施形態は、下記で記述する内容に限定されるものではなく、下記の実施形態に基づいて多様な実施形態に適用することができる。
【００７１】
図１１〜図１４は、本発明の一実施形態による電子機器におけるユーザインタラクションに対応して当該機能を処理する一動作例を示す図である。ここで、下記では、第１デバイス４１０及び第２デバイス４３０がカメラセンサーに対応し、第３デバイス４５０が近接センサーに対応するものとして説明する。
【００７２】
図１１〜図１４を参照すると、アルバムアプリケーション実行時、近接センサーで感知される近接レベルによってインタラクションを区分し、設定された当該機能を制御する動作例を示す。即ち、図１１〜図１４は、近接センサーの境界（限界点）を基準にして内側又は外側で発生するユーザジェスチャーによってインタラクションを区分し、それによりマッピングされた機能を制御する。以下、図１１〜図１４を参照して近接レベルによるインタラクション区分及びそれによる多様な機能を制御する方法について説明する。
【００７３】
先ず、図１１を参照すると、アルバムアプリケーションの実行によって任意のオブジェクト（例えば、イメージ）が提示された場合において、近接センサーの認識範囲の内側でインタラクションが発生した時、ユーザジェスチャー（例えば、手の左右移動）に定義された機能がオブジェクトナビゲーション機能であることを例として示す。
【００７４】
即ち、図１１に示すように、電子機器の制御部は、近接センサーの認識範囲の内側で入力されたユーザジェスチャーを認知し、またユーザジェスチャーがカメラセンサーの認識範囲で上下左右のうちのいずれか一方向に移動したことを認知する。これにより、制御部は、近接センサーによるインタラクションとカメラセンサーによるインタラクションを融合し、ジェスチャーが融合インタラクションであると決定する。また、制御部は、融合インタラクションでユーザジェスチャー、即ち追跡するジェスチャーの移動方向によって予め定義された機能を実行する。即ち、ジェスチャーの移動方向に対応して提示されたオブジェクトに対するナビゲーション機能を処理する。
【００７５】
上記のように、近接センサー及びカメラセンサーによって融合インタラクションが発生した場合、即ち近接センサーによるジェスチャーが感知された状態でカメラセンサーによるジェスチャーが一緒に感知された場合、電子機器の制御部は、融合インタラクション中にカメラセンサーで感知されたジェスチャーによってオブジェクト間のナビゲーションを行う機能制御を処理する。
【００７６】
次に、図１２を参照すると、アルバムアプリケーションの実行によって任意のオブジェクト（例えば、イメージ）が提示された場合において、近接センサーの認識範囲の内側でインタラクションが発生した時、ユーザジェスチャー（例えば、手の上下移動）に定義された機能が拡大／縮小機能であることを例として示す。
【００７７】
即ち、図１２に示すように、電子機器の制御部は、近接センサーの認識範囲の内側で入力されたユーザジェスチャーを認知し、またユーザジェスチャーが近接センサーの認識範囲の内側で電子機器に近接したか又は遠くなった、即ち可変されたことを認知する。これにより、制御部は、ジェスチャーが近接センサーによる近接レベル変化による空間インタラクションであると決定する。また、制御部は、空間インタラクションでユーザジェスチャー、即ち追跡するジェスチャーの近接レベルによって予め定義された機能を実行する。即ち、ジェスチャーが電子機器に近接する程度に対応して提示されたオブジェクトに対する拡大／縮小機能を処理する。ここで、ジェスチャーが近接センサーの認識範囲（限界点）を外れた場合、オブジェクトを基本設定された基本サイズに復元する動作を設定方式によって行うこともできることは勿論である。
【００７８】
上記のように、近接センサーによるジェスチャーが感知されたか、又は近接センサーによるジェスチャーが感知された状態でカメラセンサーによるジェスチャーが一緒に感知された場合、電子機器の制御部は、近接センサーで感知されたジェスチャーによってオブジェクトの拡大／縮小を行う機能制御を処理する。
【００７９】
次に、図１３を参照すると、アルバムアプリケーションの実行によって任意のオブジェクト（例えば、イメージ）が提示された場合において、近接センサーの認識範囲の外側でインタラクションが発生した時、ユーザジェスチャー（例えば、手の上下移動）に定義された機能がカテゴリーナビゲーション機能であることを例として示す。
【００８０】
即ち、図１３に示すように、近接センサーの認識範囲の外側で入力されるユーザジェスチャーに対しては、近接センサーによるインタラクションが発生しない。即ち、ユーザジェスチャーは、カメラセンサーの認識範囲内だけで感知され、それによるインタラクションが発生する。このような場合、電子機器の制御部は、カメラセンサーの認識範囲で上下左右のうちのいずれか一方向に移動するジェスチャーを認知すると、カメラセンサーによるインタラクションを平面インタラクションとして決定し、平面インタラクションでユーザジェスチャー、即ち追跡するジェスチャーの移動方向にマッピングされた機能（例えば、カテゴリーナビゲーション制御）を実行する。即ち、ジェスチャーの移動方向に対応して提示されたカテゴリーに対するナビゲーション機能を処理する。
【００８１】
従って、上記のように、カメラセンサーによって平面インタラクションが発生すると、平面インタラクションによってカテゴリー間のナビゲーションを行う機能制御を処理する。この際、カテゴリーの変更によって当該カテゴリーに属する内容（例えば、イメージ）も一緒に変更されて提供される。
【００８２】
次に、図１４を参照すると、アルバムアプリケーションの実行によって任意のオブジェクト（例えば、イメージ）が提示された場合において、近接センサーの認識範囲の外側でインタラクションが発生した時、ユーザジェスチャー（例えば、手の回転）に定義された機能がオブジェクト回転機能であることを例として示す。
【００８３】
即ち、図１４に示すように、近接センサーの認識範囲の外側で入力されるユーザジェスチャーに対しては、近接センサーによるインタラクションが発生しない。即ち、ユーザジェスチャーは、カメラセンサーの認識範囲内だけで感知され、それによるインタラクションが発生する。このような場合、電子機器の制御部は、カメラセンサーの認識範囲で時計方向又は反時計方向に回転するジェスチャーを認知すると、カメラセンサーによるインタラクションを平面インタラクションとして決定し、平面インタラクションでユーザジェスチャー、即ち追跡するジェスチャーの回転方向にマッピングされた機能（例えば、オブジェクト回転制御）を実行する。即ち、ジェスチャーの回転方向に対応して提示されたオブジェクトに対する回転機能を処理する。
【００８４】
従って、上記のように、カメラセンサーによって平面インタラクションが発生すると、平面インタラクションによってオブジェクトを回転する機能制御を処理する。この際、ジェスチャーの時計方向又は反時計方向の回転に対応してオブジェクトを当該方向に回転するエフェクトを適応的に反映して提供する。
【００８５】
以上のように、本発明の動作例によると、近接センサーを利用して近接による空間上の範囲を決定することができる。また、近接範囲の内側では、カメラセンサーによってジェスチャーの動く方向を認識し、当該インタラクションとして活用し、近接センサーの外側では、カメラセンサーによってジェスチャー形状／動作を認識し、当該インタラクションで活用するなどユーザ定義によって多様な運用が可能である。
【００８６】
図１５及び図１６は、本発明の一実施形態による電子機器におけるユーザインタラクションに対応して当該機能を処理する他の動作例を示す図である。ここで、下記では、第１デバイス４１０及び第２デバイス４３０がカメラセンサーに対応し、第３デバイス４５０が近接センサーに対応し、また、第１デバイス４１０であるカメラセンサーは、カメラ本体の機能を実行し、第２デバイス４３０であるカメラセンサーは、本実施形態においてユーザインタラクションのための機能として作動するものとして説明する。また第１デバイス４１０と第２デバイス４３０間の機能を交換して利用することが可能であることも勿論である。
【００８７】
図１５及び図１６を参照すると、近接センサーで感知される近接レベルによってインタラクションを区分して機能を制御する動作の例を示す。特に、図１５及び図１６では、カメラを利用する機能のうちのセルフ撮影機能を行う場合の例を示し、このような動作は、画像通話時にも応用することができることは勿論である。
【００８８】
図１５及び図１６を参照すると、近接センサーの認識範囲（限界点）を基準にして内側又は外側で発生するユーザジェスチャーによってインタラクションを区分し、各インタラクションに対応するユーザジェスチャーによってセルフ撮影に関連した機能を制御する動作例を示す。即ち、図１５及び図１６では、セルフ撮影アプリケーションが実行時に近接センサー及び残りの他のカメラセンサーで感知されたインタラクションを区分し、設定されたセルフ撮影機能を制御する動作例を示す。
【００８９】
先ず、図１５を参照すると、セルフ撮影機能の実行中に近接センサーの認識範囲５５０の内側でユーザジェスチャーによるインタラクションが発生する場合を示す。図１５に示すように、電子機器の制御部は、近接センサーの認識範囲５５０の内側で入力されたユーザインタラクションを認知し、またユーザジェスチャーが近接センサーの認識範囲５５０の内側で電子機器に近接したか又は遠くなった、即ち可変されたことを認知する。これにより、制御部は、ジェスチャーが近接センサーによる近接レベル変化によるインタラクションであると決定する。また、制御部は、インタラクションでユーザジェスチャー、即ち追跡するジェスチャーの近接レベルによって予め定義された機能を実行する。例えば、ジェスチャーが電子機器に近接する程度に対応してセルフ撮影による被写体のズームイン／ズームアウト機能を処理する。
【００９０】
上記のように、近接センサーによるジェスチャーが感知されたか、又は近接センサーによるジェスチャーが感知された状態でカメラセンサーによるジェスチャーが一緒に感知された場合、電子機器の制御部は、近接センサーで感知されたジェスチャーによってセルフ撮影によるズームイン／ズームアウト機能制御を処理する。
【００９１】
即ち、図１５では、カメラセンサーによってユーザインタラクションが発生し、また、近接センサーによってユーザインタラクションが発生したか、又は近接センサーだけによってユーザインタラクションが発生した時、近接センサーによるユーザインタラクションの近接レベルによってセルフ撮影のズームイン／ズームアウト機能を制御することができる。この際、近接センサーの認識範囲５５０の内側で発生した近接レベルによって、即ち感知された認識値の強弱によってズームイン又はズームアウト機能を処理する。図１５を参照すると、ユーザの手が近接センサーの認識範囲５５０の限界点から電子機器の側に近接した場合、ズームイン機能を処理し、ユーザの手が電子機器における認識範囲５５０の限界点から遠くなった場合、ズームアウト機能を処理する。
【００９２】
次に、図１６を参照すると、セルフ撮影機能の実行中に近接センサーの認識範囲５５０の外側でユーザジェスチャーによるインタラクションが発生する場合を示す。図１６に示すように、ユーザジェスチャーは、カメラセンサーの認識範囲５５０内だけで感知され、それによるインタラクションが発生する。このような場合、電子機器の制御部は、カメラセンサーの認識範囲５５０で発生したジェスチャーを認知すると、カメラセンサーによるインタラクションでユーザジェスチャー、即ち追跡するジェスチャーの形態によってマッピングされた機能を実行する。例えば、ジェスチャーが“ＯＫ”に対応する手の形状を有する場合、手の形状に対応してセルフ撮影による撮影機能を処理する。
【００９３】
即ち、図１６では、カメラセンサーによってユーザインタラクションが発生すると、カメラセンサーによって追跡されたジェスチャーの形態によってセルフ撮影による多様な付加機能を処理することができる。
【００９４】
一方、セルフ撮影などのカメラセンサー及び近接センサーの相互間による機能制御は、必ずしも上述の例に限定されるものではなく、ユーザジェスチャーとデバイス間の機能制御情報は、ユーザ設定により変更することができ、このような例は、下記表２のように示すことができる。
【００９５】
【表２】
2013164701.tif 000004
【００９６】
上記表２に示したように、本発明の実施形態では、ユーザ設定によってインタラクション、ジェスチャー、及びそれに該当する機能を設定することができる。例えば、同一のズームイン／ズームアウト機能に対しても、近接センサー及びカメラセンサーによる融合インタラクションを感知するようにするか、又はいずれか１つのデバイスによる平面インタラクション又は空間インタラクションを感知するようにし、また、インタラクション発生のためのジェスチャーも、やはりユーザ希望によって設定することができる。また、同一のジェスチャー及びそれによる機能に対しても、空間インタラクションによって行うか、又は平面インタラクションによって行うかなどユーザ便宜によって多様に設定可能である。
【００９７】
図１７〜図２０は、本発明の一実施形態による電子機器におけるユーザインタラクションに対応して当該機能を処理する更に他の動作例を示す図である。ここで、下記では、第１デバイス４１０及び第２デバイス４３０がカメラセンサーに対応し、第３デバイス４５０が近接センサーに対応するものとして説明する。
【００９８】
ここで、図１７〜図２０に示した電子機器は、ユーザインタラクションを識別するためのデバイスであって、２つのカメラセンサーが電子機器の平面の側部に各々設けられ、電子機器の内部又は一側に近接センサーが設けられた場合の例を示す。このような構成の例は、本発明の多様な電子機器の形態のうちの一例に該当するものであり、本発明の電子機器は、必ずしも図１７〜図２０の形態に限定されるものではない。
【００９９】
先ず、図１７を参照すると、電子機器における楽器演奏アプリケーションの実行時にユーザがジェスチャーを入力する動作例を示す。図１７に示したように、ユーザの左手及び右手の各々は、２つのカメラセンサー４１０、４３０の各認知範囲上に位置する。この際、２つのカメラセンサー４１０、４３０の各々は、左手及び右手に対する手動作を継続的に感知する。
【０１００】
また、近接センサー４５０の認識範囲（限界点）を打楽器の仮想の表面として見なし、認識範囲（限界点）の外側から内側に進入する入力を感知する時、打楽器を打撃するものと定義する。また、各カメラセンサー４１０、４３０は、ユーザジェスチャーの移動速度を感知することができ、これは、楽器を演奏する力の強さとして定義することができる。
【０１０１】
このような例において、図１７の例に示すように、電子機器で楽器演奏アプリケーションを実行する場合を仮定すると、２つのカメラセンサー４１０、４３０及び近接センサー４５０は、各々左右の手の動きを通じた楽器演奏のために使用され、各カメラセンサー４１０、４３０で感知したフレーム変化を追跡し、手の動きの速度を測定する。
【０１０２】
一方、図１７では、２つのカメラセンサー４１０、４３０を利用する場合を例として示したが、２つ以上の多数個のカメラセンサーが設けられ、各々の認識範囲が区分される場合、多数の入力を受け入れることができる。
【０１０３】
以下、本発明のユーザインタラクションを利用して電子機器で楽器演奏機能を実行する動作について説明する。
【０１０４】
図１８〜図２０を参照すると、先ず、電子機器では、楽器演奏アプリケーションの実行に対応するユーザインターフェース（ＵＩ：Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を画面上に表示する。ユーザインターフェースは、実際の楽器形態に対応するグラフィックユーザインターフェース（ＧＵＩ：Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）である。或いは、実際の楽器形態を簡素化して示したＧＵＩであってもよい。図１８〜図２０では、ユーザ要請に対応する楽器の形態を簡素化してＧＵＩで示す場合の例を示す。例えば、図１８〜図２０では、ユーザが打楽器のうちのドラムを選択した場合、それに対応するＧＵＩを示したものである。
【０１０５】
先ず、図１８に示したように、楽器に対する打撃の場合、近接センサー４５０の認識範囲から内側に進入する動作だけを認識してインタラクションとして処理する。この際、カメラセンサー４１０、４３０の各々は、フレームの変化を感知し、その変化の程度によるインタラクションを処理する。即ち、ユーザジェスチャーによる強さを区分する。また、近接センサー４５０の認識範囲の外側から内側に進入するジェスチャーの移動に対してカメラセンサー４１０、４３０でフレーム変化を分析し、それによって打楽器を強く打ったか、弱く打ったかを区分する。このような動作は、左側及び右側で同一に適用され、各々異なる音の入力として使用することもできる。
【０１０６】
次に、図１９に示したように、楽器演奏で繰り返し的な弱い入力は、近接センサー４５０の認識範囲の内側でウエーブ動作として定義し、近接センサー及びカメラセンサーが重畳する認識範囲でウエーブジェスチャーのようなインタラクションが発生すると、これを楽器演奏機能での連続的な弱い入力として処理する。
【０１０７】
次に、図２０に示したように、楽器は、特性上、音の響きが持続することがあり、従って、現在の音をミュート（ｍｕｔｅ）するインタラクションを定義する。図２０の例では、ミュート機能制御のための入力を近接センサー４５０の認識範囲の外側で行われるウエーブ動作として定義し、近接センサー４５０の認識範囲の外側でのカメラセンサー４１０、４３０によってインタラクションが発生すると、これを楽器演奏機能でのミュート入力として処理する。このような動作は、ユーザインタラクションが発生するいずれか一方だけをミュートするか、又は左右の両方をミュートする。
【０１０８】
以上のように、本発明によれば、１つ以上のデバイスを利用してユーザインタラクションによる電子機器の制御が可能である。例えば、カメラセンサーは、手動作の動きを持続的に感知し、当該動作を各々のインタラクションとして活用することができる。また、近接センサーは、近接の範囲を定義し、空間上の領域を区分する役目として活用することができる。このような本発明により、単一のセンサーを利用したインタラクション方式に比べて２つのセンサーの結合で空間の概念（近接レベル）を導入し、拡張されたインタラクションを提供することができる。
【０１０９】
以上、図面を参照しながら本発明の実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【０１１０】
４１０    第１デバイス
４３０    第２デバイス
４５０    第３デバイス
５１０、５３０    平面認識範囲
５５０    空間認識範囲
【図１】
2013164701.tif 000005
【図２】
2013164701.tif 000006
【図３】
2013164701.tif 000007
【図４】
2013164701.tif 000008
【図５】
2013164701.tif 000009
【図６】
2013164701.tif 000010
【図７】
2013164701.tif 000011
【図８】
2013164701.tif 000012
【図９】
2013164701.tif 000013
【図１０】
2013164701.tif 000014
【図１１】
2013164701.tif 000015
【図１２】
2013164701.tif 000016
【図１３】
2013164701.tif 000017
【図１４】
2013164701.tif 000018
【図１５】
2013164701.tif 000019
【図１６】
2013164701.tif 000020
【図１７】
2013164701.tif 000021
【図１８】
2013164701.tif 000022
【図１９】
2013164701.tif 000023
【図２０】
2013164701.tif 000024