(57)【要約】【課題】本発明の目的とするところは、ポインティングコントロールモードから４方向コントロールモードへの切り替えを容易にする電子装置およびその制御方法を提供することにある。【解決手段】電子装置の制御方法が提供される。本電子装置の制御方法は、ポインティングコントロールモードでポインティング機能を行うポインティングＧＵＩをディスプレイするステップと、予め設定されたイベントが発生すると、ポインティングＧＵＩを予め設定されたオブジェクトの４方向移動をコントロールするための４方向ＧＵＩに変換し、４方向コントロールモードに切り替えるステップと、４方向ＧＵＩの操作に応じて、予め設定されたオブジェクトの４方向移動状態を制御するステップとを含む。【選択図】図８
2014132442.tif 000002
【特許請求の範囲】
【請求項１】
ポインティングコントロールモードおよび４方向コントロールモードをサポートする電子装置の制御方法において、
ポインティングコントロールモードでポインティング機能を行うポインティングＧＵＩをディスプレイするステップと、
予め設定されたイベントが発生すると、前記ポインティングＧＵＩを予め設定されたオブジェクトの４方向移動をコントロールするための４方向ＧＵＩに変換し、４方向コントロールモードに切り替えるステップと、
前記４方向ＧＵＩの操作に応じて、前記予め設定されたオブジェクトの４方向移動状態を制御するステップと
を含む制御方法。
【請求項２】
前記予め設定されたオブジェクトは、前記４方向コントロールモードにおいて、前記４方向ＧＵＩの操作に応じてアイテムを選択するためのオブジェクトであることを特徴とする請求項１に記載の制御方法。
【請求項３】
前記予め設定されたイベントは、ユーザ命令に応じて、モード切り替えメニューが選択されるイベントおよび前記予め設定されたオブジェクトを含む画面がディスプレイされるイベントのうちの１つであることを特徴とする請求項１に記載の制御方法。
【請求項４】
前記４方向ＧＵＩが、前記ポインティングコントロールモードで制御可能なアイテム上に位置すると、前記４方向ＧＵＩを前記ポインティングＧＵＩに変換してディスプレイし、前記ポインティングコントロールモードに切り替えるステップを更に含むことを特徴とする請求項１に記載の制御方法。
【請求項５】
前記４方向ＧＵＩは、上下左右移動ボタンおよび選択ボタンを含むことを特徴とする請求項１に記載の制御方法。
【請求項６】
前記４方向ＧＵＩ内に配置された仮想のポインタの前記４方向ＧＵＩ内部の移動状態に応じて、前記上下左右ボタンおよび選択ボタンのうち、前記仮想のポインタの位置しているボタンをハイライトさせてディスプレイするステップを更に含むことを特徴とする請求項１に記載の制御方法。
【請求項７】
前記仮想のポインタが前記４方向ＧＵＩの外部に移動されると、前記４方向ＧＵＩそのものを前記仮想のポインタが移動した位置に移動させてディスプレイするステップを更に含むことを特徴とする請求項６に記載の制御方法。
【請求項８】
前記ポインティングＧＵＩおよび前記４方向ＧＵＩは、ユーザモーション命令によって制御されることを特徴とする請求項１に記載の制御方法。
【請求項９】
ポインティングコントロールモードおよび４方向コントロールモードをサポートする電子装置において、
ポインティングコントロールモードでポインティング機能を行うポインティングＧＵＩをディスプレイするディスプレイ部と、
ユーザ命令を入力されるユーザインターフェース部と、
予め設定されたイベントが発生すると、前記ポインティングＧＵＩを予め設定されたオブジェクトの４方向移動を制御するための４方向ＧＵＩに変換し、４方向コントロールモードに切り替え、前記４方向ＧＵＩの操作に応じて、前記予め設定されたオブジェクトの４方向移動状態を制御する制御部と
を含む電子装置。
【請求項１０】
前記予め設定されたオブジェクトは、前記４方向コントロールモードにおいて、前記４方向ＧＵＩの操作に応じてアイテムを選択するためのオブジェクトであることを特徴とする請求項９に記載の電子装置。
【請求項１１】
前記予め設定されたイベントは、ユーザ命令に応じて、モード切り替えメニューが選択されるイベントおよび前記予め設定されたオブジェクトを含む画面がディスプレイされるイベントのうちの１つであることを特徴とする請求項９に記載の電子装置。
【請求項１２】
前記制御部は、前記４方向ＧＵＩが、前記ポインティングコントロールモードで制御可能なアイテム上に位置すると、前記ポインティングコントロールモードに切り替え、前記４方向ＧＵＩを前記ポインティングＧＵＩに変換してディスプレイすることを特徴とする請求項９に記載の電子装置。
【請求項１３】
前記４方向ＧＵＩは、上下左右移動ボタンおよび選択ボタンを含み、前記制御部は、前記４方向ＧＵＩ内に配置された仮想のポインタの前記４方向ＧＵＩ内部の移動状態に応じて、前記上下左右ボタンおよび選択ボタンのうち、前記仮想のポインタの位置しているボタンをハイライトさせてディスプレイすることを特徴とする請求項９に記載の電子装置。
【請求項１４】
前記制御部は、前記仮想のポインタが前記４方向ＧＵＩの外部に移動されると、前記４方向ＧＵＩそのものを前記仮想のポインタが移動した位置に移動させてディスプレイすることを特徴とする請求項１３に記載の電子装置。
【請求項１５】
前記ポインティングＧＵＩおよび前記４方向ＧＵＩは、ユーザモーション命令によって制御されることを特徴とする請求項９に記載の電子装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子装置およびその制御方法に関し、より詳細には、複数の動作モードを提供する電子装置およびその制御方法に関する。
【背景技術】
【０００２】
電子技術の発達により、多様な種類の電子装置が開発および普及されている。特に、最近は、テレビをはじめとする多様な電子装置が一般家庭で使用されている。これらの電子装置は、ユーザからの要求に応じて、次第に多様な機能を備えるようになった。特に、テレビの場合、最近は、インターネットと接続され、インターネットサービスまでサポートしている。なお、ユーザは、テレビを通じて多くのデジタル放送チャネルまで視聴することができるようになった。
【０００３】
それにより、電子装置の多様な機能を効率的に使用するための多様な入力方法が要求されている。例えば、リモコンを利用した入力方法、マウスを利用した入力方法およびタッチパッドを利用した入力方法等が電子装置に適用されている。
【０００４】
しかし、このような単純な入力方法だけでは、電子装置の多様な機能を効果的に使用するのに困難性があった。仮に、電子装置の全機能をリモコンのみで制御するように実現するようになると、リモコンのボタン数を増やさざるを得なかった。この場合、一般ユーザがリモコンの使用法を習得することは決して容易なことではなかった。なお、多様なメニューを画面上に表示し、ユーザが当該メニューを探し当て、選択するようにする方法の場合、ユーザが複雑なメニューツリーを一々確認し、自分の所望のメニューを選択しなければならないという不都合があった。
【０００５】
このような不都合を克服するために、近来は、電子装置をより便利かつ直観的に制御するためのモーション認識技術が開発されている。すなわち、ユーザのモーションを認識し、電子装置を制御する技術が脚光を浴びている。
【０００６】
しかし、既存のモーション認識技術は、一般的に、モーションに応じて画面上に表示されたポインタを移動させる操作を基本とする一方で、この場合、４方向ボタンを利用した動作をサポートすることが困難になるという問題点があった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】韓国特開第２００９−００４３９６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ポインティングコントロールモードから４方向コントロールモードへの切り替えを容易にする電子装置およびその制御方法を提供することにある。
【課題を解決するための手段】
【０００９】
前記目的を達成するために案出された本発明の一実施形態に係るポインティングコントロールモードおよび４方向コントロールモードをサポートする電子装置の制御方法は、ポインティングコントロールモードでポインティング機能を行うポインティングＧＵＩをディスプレイするステップと、予め設定されたイベントが発生すると、前記ポインティングＧＵＩを予め設定されたオブジェクトの４方向移動をコントロールするための４方向ＧＵＩに変換し、４方向コントロールモードに切り替えるステップと、前記４方向ＧＵＩの操作に応じて、前記予め設定されたオブジェクトの４方向移動状態を制御するステップとを含む。
【００１０】
ここで、前記予め設定されたオブジェクトは、前記４方向コントロールモードにおいて、前記４方向ＧＵＩの操作に応じてアイテムを選択するためのオブジェクトであってよい。
【００１１】
なお、前記予め設定されたイベントは、ユーザ命令に応じて、モード切り替えメニューが選択されるイベントおよび前記予め設定されたオブジェクトを含む画面がディスプレイされるイベントのうちの１つであってよい。
【００１２】
なお、前記４方向ＧＵＩが、前記ポインティングコントロールモードで制御可能なアイテム上に位置すると、前記４方向ＧＵＩを前記ポインティングＧＵＩに変換してディスプレイし、前記ポインティングコントロールモードに切り替えるステップを更に含んでよい。
【００１３】
一方、前記４方向ＧＵＩは、上下左右移動ボタンおよび選択ボタンを含んでよい。
【００１４】
この場合、前記４方向ＧＵＩ内に配置された仮想のポインタの前記４方向ＧＵＩ内部の移動状態に応じて、前記上下左右ボタンおよび選択ボタンのうち、前記仮想のポインタの位置しているボタンをハイライトさせてディスプレイするステップを更に含んでよい。
【００１５】
なお、前記仮想のポインタが前記４方向ＧＵＩの外部に移動されると、前記４方向ＧＵＩそのものを前記仮想のポインタが移動した位置に移動させてディスプレイするステップを更に含んでよい。
【００１６】
ここで、前記ポインティングＧＵＩおよび前記４方向ＧＵＩは、ユーザモーション命令によって制御されてよい。
【００１７】
一方、本発明の一実施形態に係るポインティングコントロールモードおよび４方向コントロールモードをサポートする電子装置は、ポインティングコントロールモードでポインティング機能を行うポインティングＧＵＩをディスプレイするディスプレイ部と、ユーザ命令を入力されるユーザインターフェース部と、予め設定されたイベントが発生すると、前記ポインティングＧＵＩを予め設定されたオブジェクトの４方向移動を制御するための４方向ＧＵＩに変換し、４方向コントロールモードに切り替え、前記４方向ＧＵＩの操作に応じて、前記予め設定されたオブジェクトの４方向移動状態を制御する制御部とを含む。
【００１８】
ここで、前記予め設定されたオブジェクトは、前記４方向コントロールモードにおいて、前記４方向ＧＵＩの操作に応じてアイテムを選択するためのオブジェクトであってよい。
【００１９】
なお、前記予め設定されたイベントは、ユーザ命令に応じて、モード切り替えメニューが選択されるイベントおよび前記予め設定されたオブジェクトを含む画面がディスプレイされるイベントのうちの１つであってよい。
【００２０】
なお、前記制御部は、前記４方向ＧＵＩが、前記ポインティングコントロールモードで制御可能なアイテム上に位置すると、前記ポインティングコントロールモードに切り替え、前記４方向ＧＵＩを前記ポインティングＧＵＩに変換してディスプレイしてよい。
【００２１】
一方、前記４方向ＧＵＩは、上下左右移動ボタンおよび選択ボタンを含み、前記制御部は、前記４方向ＧＵＩ内に配置された仮想のポインタの前記４方向ＧＵＩ内部の移動状態に応じて、前記上下左右ボタンおよび選択ボタンのうち、前記仮想のポインタの位置しているボタンをハイライトさせてディスプレイしてよい。
【００２２】
なお、前記制御部は、前記仮想のポインタが前記４方向ＧＵＩの外部に移動されると、前記４方向ＧＵＩそのものを前記仮想のポインタが移動した位置に移動させてディスプレイしてよい。
【００２３】
この場合、前記ポインティングＧＵＩおよび前記４方向ＧＵＩは、ユーザモーション命令によって制御されてよい。
【発明の効果】
【００２４】
以上説明したように、本発明によれば、ポインティングコントロールモードで容易に４方向コントロールモードに切り替えることができるようになる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態に係る電子装置を示す模式図である。
【図２】本発明の一実施形態に係る電子装置の構成を概略に示すブロック図である。
【図３】本発明の別の実施形態に係る電子装置の構成を示すブロック図である。
【図４】本発明の一実施形態に係る保存部に保存されたソフトウェアの構成を説明するための図である。
【図５】本発明の一実施形態に係るＵＩ提供方法を示す図である。
【図６】本発明の一実施形態に係る４方向ＧＵＩの操作方法を説明するための図である。
【図７】本発明の別の実施形態に係るＵＩ提供方法を説明するための図である。
【図８】本発明の一実施形態に係る電子装置の制御方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００２６】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００２７】
図１は、本発明の一実施形態に係る電子装置を示す模式図である。
【００２８】
本発明の一実施形態に係る電子装置１００は、デジタルテレビなら実現可能であるが、パソコンモニタ等のように、ディスプレイ可能な機器なら限定されることなく、適用可能である。
【００２９】
特に、電子装置１００は、ポインティングコントロールモードおよび４方向コントロールモードをサポートすることができる。ポインティングコントロールモードは、画面上に表示されたポインタを移動させ、アイテムを選択して実行させるモードであり、４方向コントロールモードは、画面上でアイテム上に位置したオブジェクト（例えば、ハイライト、フォーカス等）を４方向コントロールに応じて移動させ、アイテムを選択して実行させるモードを意味する。
【００３０】
特に、電子装置１００は、入力されたユーザモーションに応じてポインティングコントロールモードで表示されたポインタまたは４方向コントロールモードで表示されたオブジェクトの移動状態等を制御することができる。
【００３１】
それにより、電子装置１００は、ユーザのモーションを検知し、検知されたモーションに応じて制御される機器で実現されてよい。具体的に、電子装置１００は、ユーザモーションが検知されると、検知されたモーションによるモーション情報を生成し、生成された情報を電子装置１００を制御するための制御信号に変更した後、変更された制御信号に基づいて機能を行うことができる。
【００３２】
以下では、図を参照して、電子装置１００の具体的な動作を説明する。
【００３３】
図２は、本発明の一実施形態に係る電子装置１００の構成を概略に示すブロック図である。図１を参照すると、電子装置１００は、ディスプレイ部１１０と、ユーザインターフェース部１２０および制御部１３０を含む。電子装置１００は、スマートテレビであってよいが、それは一実施形態に過ぎず、スマートフォン、タブレットパソコン、ノートパソコン等のような多様な電子装置で実現されてよい。
【００３４】
ディスプレイ部１１０は、多様なソースから入力された映像信号を表示する。例えば、ディスプレイ部１１０は、放送受信部を介して受信された放送信号に対応する映像を表示することができる。なお、ディスプレイ部１１０は、外部端子入力部（図示せず）を介して入力される映像データ（例えば、動画）を表示することができる。
【００３５】
なお、ディスプレイ部１１０は、ポインティングコントロールモードにおいて、ポインティング機能を行うポインティングＧＵＩをディスプレイすることができる。例えば、ディスプレイ部１１０は、円形状のポインティングＧＵＩをディスプレイすることができるが、ポインティングＧＵＩの形は、それに限定されることなく、矢印や手の形等、多様な形で実現されてよい。
【００３６】
なお、ディスプレイ部１１０は、４方向コントロールモードで予め設定されたオブジェクトに対する４方向移動を制御するための４方向ＧＵＩをディスプレイすることができる。例えば、ディスプレイ部１１０は、上下左右ボタンおよび選択ボタンを含む４方向ＧＵＩをディスプレイすることができる。
【００３７】
ここで、ポインティングＧＵＩおよび４方向ＧＵＩは、ＯＳＤ（Ｏｎ  Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）形態でディスプレイされてよい。
【００３８】
一方、ディスプレイ部１１０は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅｓ）等で実現されてよいが、それに限定されるものではない。特に、ディスプレイ部１１０は、タッチパッドと相互レイヤ構造をなすタッチスクリーン形態で実現されてよい。この場合、ディスプレイ部１１０は、出力装置以外に後述するユーザインターフェース部１２０として使用できるようになる。ここで、タッチスクリーンは、タッチ入力位置および面積だけでなく、タッチ入力圧力までも検出することができるように構成されてよい。
【００３９】
ユーザインターフェース部１２０は、多様なユーザ命令が入力される。
【００４０】
特に、ユーザインターフェース部１２０は、ポインティングコントロールモードから４方向コントロールモードに切り替えるためのユーザ命令を入力されることができる。例えば、ユーザインターフェース部１２０は、モード切り替えのための予め設定されたメニューアイテムを選択するユーザ命令を入力されることができる。
【００４１】
なお、ユーザインターフェース部１２０は、ポインティングコントロールモードにおいて、ポインティングＧＵＩに対する移動命令、ポインティングＧＵＩが位置されたアイテムに対する選択命令、４方向コントロールモードで４方向ＧＵＩ内に含まれたボタンに対する選択命令、および、選択されたボタンに対する操作命令、４方向ＧＵＩの操作によってオブジェクトが位置されたアイテムに対する選択命令等を入力されてよい。一例によると、このようなユーザ命令はユーザモーションによって入力されてよい。
【００４２】
この場合、ユーザインターフェース部１２０は、ユーザのモーションを撮像した映像信号（例えば、連続するフレーム）を受信し、制御部１３０に提供するモーション入力部（図示せず）で実現されてよい。例えば、モーション入力部（図示せず）は、レンズおよびイメージセンサで構成されるカメラユニットで実現されてよい。なお、モーション入力部（図示せず）は、電子装置１００と一体型だけでなく、分離した形態で実現されてよい。分離されたモーション入力部（図示せず）は、電子装置１００と有線または無線ネットワークを通じて接続されてよい。
【００４３】
制御部１３０は、ディスプレイ部１１０およびユーザインターフェース部１２０を制御する。制御部１３０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）および電子装置１００を制御するためのモジュールおよびデータを保存するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を含むことができる。
【００４４】
特に、制御部１３０は、ポインティングコントロールモードにおいて、予め設定されたイベントが発生すると、ポインティングＧＵＩを予め設定されたオブジェクトに対する４方向移動を制御するための４方向ＧＵＩに変換し、ディスプレイすることができる。ここで、予め設定されたオブジェクトは、ユーザ操作に応じてアイテム上に位置され、別のアイテム上で移動され、アイテムを選択する機能を担うハイライト表示、フォーカス表示等であってよいが、それに限定されるものではない。
【００４５】
なお、予め設定されたイベントは、ユーザ命令に応じてモード切り替えメニューが選択されるイベントおよび４方向コントロールモードでアイテムを選択するための予め設定されたオブジェクトを含む画面がディスプレイされるイベントのうちの１つであってよい。例えば、アイテム上にフォーカスを位置させ、当該フォーカスを４方向操作に応じて制御するアプリケーション画面がディスプレイされる場合が、それに該当してよい。
【００４６】
なお、制御部１３０は、ユーザ命令に応じて操作される４方向ＧＵＩの操作状態に応じて、予め設定されたオブジェクトの４方向移動状態を制御することができる。例えば、４方向ＧＵＩの操作に応じて移動されるフォーカスがアイテム上に位置した状態で、４方向ＧＵＩ上に含まれた上方移動ボタンが選択されると、現在フォーカスが位置されたアイテムの上側に配置されたアイテムにフォーカスを移動させて表示することができる。
【００４７】
なお、制御部１３０は、ユーザ命令に応じて４方向コントロールモードで予め設定されたオブジェクトが位置したアイテムを選択することができる。例えば、フォーカスが特定アイテム上に位置した状態で、４方向ＧＵＩ上に含まれた選択ボタンが選択されると、当該特定アイテムを選択して実行させることができる。
【００４８】
具体的に、制御部１３０は、４方向ＧＵＩ内に含まれたボタンのうちの１つが選択されると、選択されたボタンをハイライトさせて表示することができる。
【００４９】
一方、４方向ＧＵＩ内には、ユーザ命令に応じて移動され、４方向ＧＵＩ内に含まれたボタンのうちの１つを選択するための仮想のポインタが含まれてよい。このような仮想のポインタは、画面上にディスプレイされていない形態であってよい。
【００５０】
この場合、制御部１３０は、４方向ＧＵＩ内に配置された仮想のポインタの４方向ＧＵＩ内部の移動状態に応じて、上下左右ボタンおよび選択ボタンのいずれか一方を選択し、選択されたボタンをハイライトさせてディスプレイすることができる。例えば、４方向ＧＵＩ内に含まれた仮想のポインタがユーザ命令に応じて移動されて上方移動ボタンに位置するようになると、上方移動ボタンをハイライトさせてディスプレイすることができる。
【００５１】
なお、制御部１３０は、仮想のポインタが４方向ＧＵＩの外部に移動されると、４方向ＧＵＩそのものを移動させてディスプレイすることができる。例えば、４方向ＧＵＩの内部に移動される仮想のポインタがユーザ命令に応じて４方向ＧＵＩ内部を離れて４方向ＧＵＩ外部に移動されると、仮想のポインタの移動位置に応じて４方向ＧＵＩそのものを移動させてディスプレイすることができる。
【００５２】
なお、制御部１３０は、４方向ＧＵＩがポインティングコントロールモードで制御可能なアイテム上に位置されると、４方向ＧＵＩをポインティングＧＵＩに変換してディスプレイすることができる。例えば、４方向ＧＵＩがユーザ命令に応じて移動されて４方向コントロールモードで制御可能なアプリケーション画面の外部に表示されたポインタによって選択可能なメニューアイテム上に位置される場合、４方向ＧＵＩをポインティングＧＵＩに変換してディスプレイすることができる。
【００５３】
一方、ポインティングＧＵＩおよび４方向ＧＵＩは、上記で説明したように、ユーザモーションによって制御されてよい。
【００５４】
制御部１３０は、モーション入力部（図示せず）を介してユーザモーションが入力される場合、モーション検知モジュールおよびモーションデータベースを用いてモーションを認識する。モーション認識（ｍｏｔｉｏｎ  ｒｅｃｏｇｎｉｔｉｏｎ）は、モーション入力部（図示せず）を介して入力されるユーザのモーションに対応する映像（例えば、連続するフレーム）を、モーション認識モジュールを用いて周囲の背景と手（例えば、指を開いたり、指を曲げてから拳を作る）の領域に分離し、連続する手の動きを認識することができる。ユーザモーションが入力される場合、制御部１３０は、受信された映像をフレーム単位で保存し、保存されたフレームを用いてユーザモーションの対象であるオブジェクト（例えば、ユーザの手）を検知する。制御部１３０は、フレームに含まれたオブジェクトの形、色、動きのうち、少なくとも１つを検知してオブジェクトを検出する。制御部１３０は、複数個のフレームに含まれたそれぞれのオブジェクトの位置を用いて検出されたオブジェクトの動きを追跡することができる。
【００５５】
制御部１３０は、追跡されたオブジェクトの形及び動きに応じてモーションを判断する。例えば、制御部１３０は、オブジェクトの形の変化、速度、位置、方向のうち、少なくともいずれか１つを用いてユーザのモーションを判断する。ユーザのモーションは、手を握るモーションであるグラブ（ｇｒａｂ）、表示されたポインタを手で移動させるモーションであるポインティング移動（ｐｏｉｎｔｉｎｇ  ｍｏｖｅ）、手を一定速度以上で一方向に動かすモーションであるスラップ（ｓｌａｐ）、手を左／右または上／下に振るモーションであるシェイク（ｓｈａｋｅ）及び手を回転させるモーションである回転を含む。上述の実施形態以外の他のモーションにも本発明の技術的思想が適用されてよい。例えば、握られた手を開くスプレッド（ｓｐｒｅａｄ）モーション等が更に含まれてよい。
【００５６】
特に、制御部１３０は、認識されたユーザモーションに応じてポインティングＧＵＩを移動させたり、ポインティングＧＵＩによって選択されたアイテムを実行することができる。例えば、手を左側に移動させるユーザモーションに応じてポインティングＧＵＩを左側に移動させてディスプレイすることができる。
【００５７】
なお、制御部１３０は、認識されたユーザモーションに応じて、４方向ＧＵＩに含まれた特定ボタンを選択したり、選択されたボタンの操作に応じたフォーカスによって選択されたアイテムを実行することができる。例えば、制御部１３０は、手を上方に移動させるユーザモーションに応じて４方向ＧＵＩ内の仮想のポインタを移動させて上方移動ボタンを選択し、特定ボタンがハイライトされた状態で、手を握るグラブモーションに応じて上方移動ボタンを実行し、特定アイテム上に表示されたフォーカスを上側に配置されたアイテム上に移動させて表示することができる。
【００５８】
図３は、本発明の別の実施形態に係る電子装置の構成を示すブロック図である。図３を参照すると、電子装置１００は、ディスプレイ部１１０と、ユーザインターフェース部１２０と、制御部１３０と、保存部１４０と、放送受信部１５０と、外部端子入力部１６０と、リモコン信号受信部１７０と、通信部１８０と、音声入力部１９０およびオーディオ出力部１９５を含む。
【００５９】
一方、図３に示す構成要素のうち、図２に示す構成要素と重複する部分については、詳細な説明を省略する。
【００６０】
制御部１３０は、ＲＡＭ１３１と、ＲＯＭ１３２と、メインＣＰＵ１３３と、グラフィック処理部１３４と、第１ないしｎインターフェース１３５−１〜１３５−ｎおよびバス１３６を含む。
【００６１】
ＲＡＭ１３１と、ＲＯＭ１３２と、メインＣＰＵ１３３と、グラフィック処理部１３４と、第１ないしｎインターフェース１３５−１〜１３５−ｎ等は、バス１３６を通じて相互接続されてよい。
【００６２】
第１ないしｎインターフェース１３５−１〜１３５−ｎは、上述の各種構成要素と接続される。インターフェースのうちの１つは、ネットワークを通じて外部装置と接続されるネットワークインターフェースであってよい。
【００６３】
メインＣＰＵ１３３は、保存部１４０にアクセスし、保存部１４０に保存されたＯ／Ｓを用いてブートを行う。そして、保存部１４０に保存された各種プログラム、コンテンツ、データ等を用いて多様な動作を行う。
【００６４】
ＲＯＭ１３２には、システムブートのための命令語セット等が保存される。ターンオン命令が入力されて電源が供給されると、メインＣＰＵ１３３は、ＲＯＭ１３２に保存された命令語に従って保存部１４０に保存されたＯ／ＳをＲＡＭ１３１にコピーし、Ｏ／Ｓを実行させてシステムをブートさせる。ブートが完了すると、メインＣＰＵ１３３は、保存部１４０に保存された各種アプリケーションプログラムをＲＡＭ１３１にコピーし、ＲＡＭ１３１にコピーされたアプリケーションプログラムを実行させて各種動作を行う。
【００６５】
グラフィック処理部１３４は、演算部（図示せず）およびレンダリング部（図示せず）を用いて、アイコン、イメージ、テキスト等のような多様な客体を含む画面を生成する。演算部（図示せず）は、画面のレイアウトによって各客体が表示される座標値、形、大きさ、カラー等のような属性値を演算する。レンダリング部（図示せず）は、演算部（図示せず）で演算した属性値に基づいて客体を含む多様なレイアウトの画面を生成する。レンダリング部（図示せず）から生成された画面は、ディスプレイ部１１０のディスプレイ領域内に表示される。
【００６６】
保存部１４０は、電子装置１００を駆動して制御するための多様なデータおよびプログラムを保存する。保存部１４０は、モーション入力部（図示せず）を介して入力されたモーションを認識するためのモーション認識モジュールを保存する。
【００６７】
なお、保存部１４０は、モーションデータベースを含むことができる。このとき、モーションデータベースは、予め設定されたモーションおよび予め設定されたモーションにマッチするモーションタスクが記録されたデータベースを意味する。
【００６８】
放送受信部１５０は、有無線で外部から放送受信を受信する。放送信号は、映像（ｖｉｄｅｏ）、オーディオ（ａｕｄｉｏ）および付加データ（例えば、ＥＰＧ）を含む。放送受信部１５０は、地上波放送、ケーブル放送、衛星放送、インターネット放送等のように、多様なソースから放送信号を受信することができる。
【００６９】
外部端子入力部１６０は、電子装置１００の外部から映像データ（例えば、動画や写真等）、オーディオデータ（例えば、音楽等）等を受信する。外部端子入力部１６０は、ＨＤＭＩ（登録商標）入力端子（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ  ｉｎｐｕｔ）、コンポーネント入力端子、パソコン入力端子、またはＵＳＢ（登録商標）入力端子のうち、少なくとも１つを含んでよい。リモコン信号受信部１７０は、外部のリモコンから入力されるリモコン信号を受信する。リモコン信号受信部１７０は、電子装置１００が音声タスクモードか、モーションタスクモードでもリモコン信号を受信することができる。
【００７０】
通信部１８０は、制御部１３０の制御によって、電子装置１００と外部装置（例えば、サーバ）を接続することができる。制御部１３０は、通信部１８０を介して接続された外部装置からアプリケーションをダウンロードしたり、ウェブブラウジングを行うことができる。通信部１８０は、イーサネット（登録商標）（Ｅｔｈｅｒｎｅｔ（登録商標））、無線ＬＡＮ１８２およびブルートゥース（ｂｌｕｅｔｏｏｔｈ（登録商標））のうち、少なくとも１つを提供することができる。
【００７１】
音声入力部１９０は、ユーザが発話（Ｕｔｔｅｔａｎｃｅ）した音声を受信する。音声入力部１９０は、入力された音声信号を電子信号に変換して制御部１３０に出力する。このとき、音声入力部１９０は、マイクで実現されてよい。なお、音声入力部１９０は、電子装置１００と一体型（ａｌｌ−ｉｎ−ｏｎｅ）だけでなく、分離された形態で実現されてよい。分離された音声入力部１９０は、電子装置１００と有線または無線ネットワークを通じて接続されてよい。
【００７２】
オーディオ出力部１９５は、制御部１３０の制御によって放送信号に対応する音声を出力する。オーディオ出力部１９５は、スピーカ１９０ａと、ヘッドフォン出力部１９５ｂまたはＳ／ＰＤＩＦ出力端子１９５ｃのうち、少なくとも１つを含んでよい。
【００７３】
制御部１３０は、音声入力部１９０からユーザ音声が入力されると、音声認識モジュールおよび音声データベースを用いて音声を認識する。音声認識（Ｖｏｉｃｅ  Ｒｅｃｏｇｎｉｔｉｏｎ）は入力される音声の形態によって、それぞれの単語を区分して発話した音声を認識する孤立単語認識（Ｉｓｏｌａｔｅｄ  Ｗｏｒｄ  Ｒｅｃｏｇｎｉｔｉｏｎ）連続単語、連続文章及び会話体音声を認識する連続音声認識（Ｃｏｎｔｉｎｕｏｕｓ  ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ）及び孤立単語認識と連続音声認識との中間形態で、予め定められたキーワードを検出して認識するキーワード検出（Ｋｅｙｗｏｒｄ  Ｓｐｏｔｔｉｎｇ）で区分されてよい。
【００７４】
ユーザ音声が入力される場合、制御部１３０は、入力された音声信号内において、ユーザが発話した音声の開始と終了とを検出し、音声区間を判断する。制御部１３０は、入力された音声信号のエネルギーを計算し、計算されたエネルギーに応じて音声信号のエネルギーレベルを分類し、動的プログラミングを通じて音声区間を検出することができる。制御部１３０は、検出された音声区間内の音声信号に音響モデル（Ａｃｏｕｓｔｉｃ  Ｍｏｄｅｌ）に基づいて、音声の最小単位である音素を検出して音素データを生成する。制御部１３０は、生成された音素データにＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）確率モデルを適用してテキスト情報を生成する。しかし、上述のように、ユーザの音声を認識する方法は一実施形態に過ぎず、他の方法を用いてユーザ音声を認識することができる。それにより、制御部１３０は、音声信号の中に含まれたユーザの音声を認識することができる。
【００７５】
図４は、本発明の一実施形態に係る保存部に保存されたソフトウェアの構成を説明するための図である。
【００７６】
保存部１４０は、図４に示すように、電源制御モジュール１４０ａと、チャネル制御モジュール１４０ｂと、音声制御モジュール１４０ｃと、外部入力制御モジュール１４０ｄと、画面制御モジュール１４０ｅと、オーディオ制御モジュール１４０ｆと、インターネット制御モジュール１４０ｇと、アプリケーション制御モジュール１４０ｈと、検索制御モジュール１４０ｉと、ＵＩ処理モジュール１４０ｊと、音声認識モジュール１４０ｋと、モーション認識モジュール１４０ｌと、音声データベース１４０ｍおよびモーションデータベース１４０ｎを含む。これらのモジュール１４０ａないし１４０ｎは、それぞれ、電源制御機能、チャネル制御機能、音声制御機能、外部入力制御機能、画面制御機能、オーディオ制御機能、インターネット制御機能、アプリケーション実行機能、検索制御機能、ＵＩ処理機能を行うために、ソフトウェアで実現されてよい。制御部１３０は、保存部１４０に保存されたこれらのソフトウェアを実行させ、当該機機能を実行することができる。
【００７７】
以下では、図５ないし図７を参照し、本発明の多様な実施形態に係るＵＩ提供方法について説明する。
【００７８】
図５は、本発明の一実施形態に係るＵＩ提供方法を示す図である。
【００７９】
図５の（ａ）に示すように、ポインティングコントロールモードにおいて、４方向コントロールを必要とする画面がディスプレイされる場合、ユーザはモード切り替えメニュー５２０を選択し、ディスプレイされたポインティングＧＵＩ５１０を４方向ＧＵＩ５４０に変更させることができる。ここで、４方向コントロールを必要とする画面とは、図示のように、フォーカス１０が４方向コントロールによってアイテム上で移動および選択される画面を意味する。例えば、４方向コントロールモードによって制御されるアプリケーション実行画面等がそれに該当してよいが、それに限定されるものではない。
【００８０】
図５の（ｂ）に示すように、ポインタ１０が第１アイテム５３０上に位置した状態で、ユーザは４方向ＧＵＩ５４０を操作し、ポインタ１０の位置を移動させて所望のアイテムを選択することができる。例えば、フォーカシングされた下方移動ボタン５４１を操作し、第１アイテム５３０上に位置したポインタ１０の位置を下方に移動させることができ、この場合、第１アイテム５３０の下側に配置された特定アイテム（図示せず）上にポインタ１０が移動させて表示されてよい。
【００８１】
図５の（ｃ）に示すように、ユーザ命令に応じて、４方向ＧＵＩ５４０で上方移動ボタン５４２が選択され、当該上方移動ボタン５４２が操作されると、図５の（ｄ）に示すように、第１アイテム５３０上に位置したポインタ１０が上側に配置された第２アイテム５５０に移動されてよい。例えば、ユーザが手を上方に移動させるモーションが入力されると、下方移動ボタン５４１上に位置したフォーカスは、上方移動ボタン５４２に移動されて表示されてよく、上方移動ボタン５４２がフォーカシングされた状態で操作すると、第１アイテム５３０上に位置したポインタ１０が上側に配置された第２アイテム５５０に移動されてよい。
【００８２】
図６は、本発明の一実施形態に係る４方向ＧＵＩの操作方法を説明するための図である。
【００８３】
図６の（ａ）に示すように、４方向ＧＵＩ６１０内に仮想のポインタ６１０が存在することができる。このような仮想のポインタ６１０の移動に応じて、４方向ＧＵＩ６１０内に含まれたボタンが選択されてよい。例えば、図示のように、ユーザ命令に応じて、仮想のポインタ６１０が４方向ＧＵＩ６１０内で上方移動ボタン５４１に対応する領域に移動されると、当該ボタン５４１がハイライトされて表示されてよい。
【００８４】
なお、図６の（ｂ）に示すように、仮想のポインタ６１０がユーザ命令に応じて移動され、４方向ＧＵＩ６１０の外部に位置するようになると、仮想のポインタ６１０の移動位置に応じて４方向ＧＵＩ６１０そのものが移動されて表示されてよい。
【００８５】
例えば、図６の（ｃ）に示すように、仮想のポインタ６１０が４方向ＧＵＩ６１０から外れて上方に移動するようになると、４方向ＧＵＩ５３０そのものが上方に移動されて表示されてよい。
【００８６】
一方、図６の（ａ）および図６の（ｂ）において、仮想のポインタ６１０を表示することは説明の便宜のためのものであり、仮想のポインタ６１０は実際に画面上にディスプレイされなくてよい。ただ、場合によっては、仮想のポインタ６１０が４方向ＧＵＩ６１０の内部ではユーザに識別できるようにディスプレイされることも可能である。
【００８７】
図７は、本発明の別の実施形態に係るＵＩ提供方法を説明するための図である。
【００８８】
図７の（ａ）および図７の（ｂ）に示すように、ユーザ命令に応じて４方向ＧＵＩ５３０が移動されてポインティングコントロールモードでコントロール可能なアイテム７１０上に位置するようになると、４方向ＧＵＩ５３０はポインティングＧＵＩ５１０に変換されて表示される。すなわち、４方向コントロールモードからポインティングコントロールモードに自動的に切り替わってよい。
【００８９】
ただ、図７の（ａ）および図７の（ｂ）の示す実施形態は一例に過ぎず、４方向ＧＵＩ５３０およびポインティングＧＵＩ５１０間の切り替えは、特定ユーザモーションまたは画面上にディスプレイされる予め設定されたメニュー（図示せず）の選択によっても可能である。
【００９０】
図８は、本発明の一実施形態に係る電子装置の制御方法を説明するためのフローチャートである。
【００９１】
図８に示す電子装置の制御方法によると、ポインティングコントロールモードでポインティング機能を行うポインティングＧＵＩをディスプレイする（Ｓ８１０）。
【００９２】
続いて、予め設定されたイベントが発生すると（Ｓ８２０：Ｙ）、４方向コントロールモードに切り替え、ポインティングＧＵＩを予め設定されたオブジェクトの４方向移動をコントロールするための４方向ＧＵＩに変換してディスプレイする（Ｓ８３０）。ここで、予め設定されたオブジェクトは、４方向コントロールモードで、アイテムを選択するためのオブジェクトであってよい。なお、ユーザ命令に応じて、モード切り替えメニューが選択されたイベントおよび予め設定されたオブジェクトを含む画面がディスプレイされるイベントのうち、少なくとも１つであってよい。
【００９３】
続いて、４方向ＧＵＩの操作に応じて、予め設定されたオブジェクトの４方向移動状態を制御する（Ｓ８４０）。
【００９４】
なお、４方向ＧＵＩがポインティングコントロールモードで制御可能なアイテム上に位置されると、４方向ＧＵＩをポンティングＧＵＩに変換してディスプレイし、ポインティングコントロールモードに切り替えてよい。
【００９５】
一方、４方向ＧＵＩは、上下左右移動ボタンおよび選択ボタンを含むことができる。
【００９６】
この場合、４方向ＧＵＩ内に配置された仮想のポインタの４方向ＧＵＩの内部移動状態に応じて上下左右ボタンおよび選択ボタンのうち、仮想のポインタが位置されたボタンをフォーカシングしてディスプレイすることができる。なお、仮想のポインタが４方向ＧＵＩの外部に移動されると、仮想のポインタが位置した位置に、４方向ＧＵＩそのものを移動させてディスプレイすることができる。
【００９７】
一方、ポインティングＧＵＩおよび４方向ＧＵＩは、ユーザモーション命令に応じて制御されてよい。
【００９８】
以上説明したように、本発明によると、ポインティングコントロールモードの操作方式をそのまま維持したまま、４方向コントロールモードにおける移動操作をサポートすることができるようになる。
【００９９】
一方、上述の多様な実施形態に係る電子装置の制御方法は、プログラムで実現され電子装置に提供されてよい。
【０１００】
一例として、ユーザモーション命令が入力されると、ポインティングコントロールモードでポインティング機能を行うポインティングＧＵＩをディスプレイし、予め設定されたイベントが発生すると、ポインティングＧＵＩを予め設定されたオブジェクトの４方向移動をコントロールするための４方向ＧＵＩに変換し、４方向コントロールモードに切り替えるステップと、４方向ＧＵＩの操作に応じて、予め設定されたオブジェクトの４方向移動状態を制御する制御部とを実行するプログラムが保存された非一時的な読み取り可能な媒体（Ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）が提供されてよい。
【０１０１】
非一時的な読み取り可能な媒体とは、半永久的にデータを保存し、機器によって読み取り（Ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、ＣＤやＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ（登録商標）、メモリカード、ＲＯＭ等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。
【０１０２】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例を想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１０３】
１００    電子装置
１１０    ディスプレイ部
１２０    ユーザインターフェース部
１３０    制御部
１４０    保存部
１５０    放送受信部
１６０    外部端子入力部
１７０    リモコン信号受信部
１８０    通信部
１９０    音声入力部
１９５    オーディオ出力部
【図１】
2014132442.tif 000003
【図２】
2014132442.tif 000004
【図３】
2014132442.tif 000005
【図４】
2014132442.tif 000006
【図５】
2014132442.tif 000007
【図６】
2014132442.tif 000008
【図７】
2014132442.tif 000009
【図８】
2014132442.tif 000010