(57)【要約】【課題】本発明は、２次元イメージセンサによって検出されたユーザ映像でインタフェースのためのオブジェクトを設定し、これによりユーザ入力が可能な２次元イメージセンサを利用したユーザインタフェース装置及び方法に関する。【解決手段】本発明による２次元イメージセンサを利用したユーザインタフェース装置は、２次元イメージセンサと、上記２次元イメージセンサによって撮像されたユーザの動きを検出してオブジェクトに設定し、上記２次元イメージセンサによって検出される上記オブジェクトの動きをユーザがインタフェースを形成しようとするシステムに出力するユーザインタフェース部と、を含む。【選択図】図１
2012138084.tif 000002
【特許請求の範囲】
【請求項１】
２次元イメージセンサと、
前記２次元イメージセンサによって撮像されたユーザの動きを検出してオブジェクトとして設定し、前記２次元イメージセンサによって検出される前記オブジェクトの動きをユーザとのユーザインタフェースが形成されるシステムに出力するユーザインタフェース部と
を含むユーザインタフェース装置。
【請求項２】
前記ユーザインタフェース部は、
ユーザの割り込みの種類を判断する割り込み発生部と、
前記ユーザの割り込みが新しいオブジェクトを設定するための割り込みである場合、入力されるイメージを用いて特定領域をオブジェクトとして設定し、設定した情報を保存するオブジェクト設定部と、
前記オブジェクト設定部に保存されているオブジェクトの情報に基づいて、入力映像の中からオブジェクトを認識し、当該オブジェクトが行おうとする命令を判断してユーザインタフェース命令信号を出力するオブジェクト認識部と
を含むことを特徴とする請求項１に記載のユーザインタフェース装置。
【請求項３】
前記オブジェクト設定部は、
前記オブジェクト設定部による新しいオブジェクトの設定動作を前記ユーザにフィードバックすることを特徴とする請求項２に記載のユーザインタフェース装置。
【請求項４】
前記オブジェクト認識部は、
前記オブジェクト設定部により既に保存されているオブジェクトの形状、サイズ、質感、及び色相のうち少なくとも１つを考慮して前記入力映像の中からオブジェクトを認識することを特徴とする請求項２または３に記載のユーザインタフェース装置。
【請求項５】
前記オブジェクト認識部は、
前記オブジェクトの動きが互いに反対の二つの方向に繰り返される場合、一つの方向のみを有効なものであると判断することを特徴とする請求項２から４の何れか１項に記載のユーザインタフェース装置。
【請求項６】
前記オブジェクト認識部は、
前記ユーザインタフェースにより行われる任意の機能を表示したイメージをディスプレイに表示するようにし、認識された前記オブジェクトの位置をカーソルとして用いて、前記任意の機能を表示したイメージと前記カーソルとの関係によって前記ユーザインタフェースを形成するようにすることを特徴とする請求項２に記載のユーザインタフェース装置。
【請求項７】
ユーザの割り込みの種類を判断する段階と、
前記ユーザの割り込みがオブジェクトを入力するためのものである場合、ユーザイメージをキャプチャし、キャプチャされた前記イメージを用いてオブジェクトを設定する段階と、
前記ユーザの割り込みがオブジェクトを認識するためのものである場合、既に設定されているオブジェクトの特徴を利用して、入力映像からオブジェクトを認識し、認識されたオブジェクトの動きに応じてユーザインタフェース動作を行う段階と
を含むユーザインタフェース方法。
【請求項８】
前記オブジェクトを設定する段階は、
前記オブジェクトを設定する段階における新しいオブジェクトの設定動作を前記ユーザにフィードバックすることを特徴とする請求項７に記載のユーザインタフェース方法。
【請求項９】
前記ユーザインタフェース動作を行う段階は、
既に設定されているオブジェクトの形状、サイズ、質感、及び色相のうちの少なくとも１つを考慮して前記入力映像からオブジェクトを認識する段階を含むことを特徴とする請求項７または８に記載のユーザインタフェース方法。
【請求項１０】
前記ユーザインタフェース動作を行う段階は、
前記オブジェクトの動きが互いに反対の二つの方向に繰り返される場合、一つの方向のみを有効なものであると判断することを特徴とする請求項７から９の何れか１項に記載のユーザインタフェース方法。
【請求項１１】
前記ユーザインタフェース動作を行う段階は、
ユーザインタフェースにより行われる任意の機能を表示したイメージをディスプレイに表示するようにし、認識された前記オブジェクトの位置をカーソルとして用いて、前記任意の機能を表示したイメージと前記カーソルとの関係によって前記ユーザインタフェースを形成するようにすることを特徴とする請求項７から１０の何れか１項に記載のユーザインタフェース方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザインタフェース装置及び方法に関し、より詳細には、２次元イメージセンサによって検出されたユーザ映像でインタフェースのためのオブジェクトを設定し、これによりユーザ入力が可能な２次元イメージセンサを利用したユーザインタフェース装置及び方法に関する。
【背景技術】
【０００２】
ユーザインタフェース（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ：ＵＩ）は、一般のユーザがコンピュータシステムまたはプログラムで、データの入力や動作を制御するために用いる命令語または技法を意味する。ユーザがコンピュータやプログラムとコミュニケーションを行い、簡単且つ便利に使用できるようにすることがユーザインタフェースの究極の目的である。
【０００３】
従来のコンピュータは、計算自体の効率や速度を向上させることに主眼を置いて設計された。また従来のコンピュータは、ユーザとコンピュータとの連結に係って、ユーザがコンピュータについて全てを知っている状態で操作することを前提として設計された。
【０００４】
しかし、現在使用されているコンピュータは、コンピュータについて全てを知っている一部の専門家のみが使用するものではない。また、コンピュータは段階的な計算のみをする機械ではなく、ユーザの創造性をより高める道具として活用されている。従って、現在のコンピュータにおけるユーザインタフェースは、非専門家の使用便宜を考慮して、システム全体の性能を向上させることができる道具として開発されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、現在広く普及されている２次元イメージセンサによって得られた映像を利用して、より実用的で、使用が便利なユーザインタフェースをユーザに提供することができるユーザインタフェース装置及び方法を提供することを解決しようとする技術的課題とする。
【課題を解決するための手段】
【０００６】
上記技術的課題を解決するための手段として本発明によると、２次元イメージセンサと、上記２次元イメージセンサによって撮像されたユーザの動きを検出してオブジェクトに設定し、上記２次元イメージセンサによって検出される上記オブジェクトの動きをユーザがインタフェースを形成しようとするシステムに出力するユーザインタフェース部と、を含むユーザインタフェース装置が提供される。
【０００７】
本発明の一実施形態において、上記ユーザインタフェース部は、ユーザ割り込みの種類を判断する割り込み発生部と、上記ユーザの割り込みが新しいオブジェクトを設定するための割り込みである場合、入力されるイメージで特定領域をオブジェクトに設定し、その内容を保存するオブジェクト設定部と、予め設定されて保存されたオブジェクトの情報に基づいて入力映像からオブジェクトを認識し、上記オブジェクトが行おうとする命令を判断してユーザインタフェース命令信号を出力するオブジェクト認識部と、を含むことができる。
【０００８】
この実施形態において、上記オブジェクト設定部は、上記新しいオブジェクト設定動作を上記ユーザにフィードバックすることができる。
【０００９】
この実施形態において、上記オブジェクト認識部は、既保存されたオブジェクトの形状、サイズ、質感、色相を考慮して上記入力映像からオブジェクトを認識することができる。
【００１０】
この実施形態において、上記オブジェクト認識部は、上記オブジェクトの動きが互いに反対の二つの方向に繰り返される場合、一つの方向のみを有効なものであると判断することができる。
【００１１】
この実施形態において、上記オブジェクト認識部は、ユーザインタフェースにより行われる任意の機能を表示したイメージをディスプレイに表示するようにし、上記認識されたオブジェクトの位置をカーソルとして用いて、上記任意の機能を表示したイメージとカーソルとの関係によってユーザインタフェースを形成することができる。
【００１２】
上述の技術的課題を解決するための他の手段として、本発明によると、ユーザ割り込みの種類を判断する段階と、ユーザ割り込みがオブジェクトを入力するためのものである場合、ユーザイメージをキャプチャし、キャプチャされたユーザイメージでオブジェクトを設定する段階と、ユーザ割り込みがオブジェクトを認識するためのものである場合、既保存されたオブジェクトの特徴を利用して、入力されるイメージからオブジェクトを認識し、認識されたオブジェクトの動きに応じてユーザインタフェース動作を行う段階と、を含むユーザインタフェース装置を提供する。
【発明の効果】
【００１３】
本発明によると、２次元イメージセンサを利用してユーザの動きを認識し、これによりシステムを安定して制御することができる。
【００１４】
また、本発明によると、ユーザの動きに応じるシステムの反応をリアルタイムで把握することができるため、ユーザとシステムとの間において円滑なインタフェースが可能である。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態によるユーザインタフェース装置が適用されたシステムの一例を図示したブロック構成図である。
【図２】本発明の一実施形態によるユーザインタフェース装置をより詳細に図示した詳細構成図である。
【図３】本発明の一実施形態によるユーザインタフェース方法を図示したフローチャートである。
【図４】本発明の一実施形態によるユーザインタフェース装置及び方法が具現されるシステムの例示図である。
【図５】図４に図示されたシステムにおいて、ユーザインタフェースに用いられるオブジェクトを設定する概念を図示した図面である。
【図６】本発明の一実施形態によるユーザインタフェース装置及び方法において、オブジェクトの形状が変形される例を図示した図面である。
【図７】本発明の一実施形態によるユーザインタフェース装置及び方法において、ユーザインタフェースを行う過程でオブジェクトの動きを認識する方法を説明する図面である。
【図８】本発明の一実施形態によるユーザインタフェース装置及び方法の適用例を図示した図面である。
【発明を実施するための形態】
【００１６】
以下、添付の図面を参照して本発明の多様な実施形態をより詳細に説明する。しかし、本発明の実施形態は様々な他の形態に変形することができ、本発明の範囲は以下で説明する実施形態に限定されるものではない。また、本発明の実施形態は本発明が属する技術分野における通常の知識を有する者に本発明をより完全に説明するために提供されるものである。従って、図面に図示された構成要素の形状及び大きさ等はより明確な説明のために誇張されることがあることに留意すべきである。
【００１７】
図１は本発明の一実施形態によるユーザインタフェース装置が適用されたシステムの一例を図示したブロック構成図である。
【００１８】
図１に図示したように、本発明の一実施形態によるユーザインタフェース装置が適用されたシステムは、２次元イメージセンサ１１と、イメージ信号処理器（Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ：ＩＳＰ）１２と、ユーザインタフェース部１３と、システム制御ユニット１４と、ディスプレイ１５と、を含むことができる。
【００１９】
本発明によると、ユーザインタフェース部１３は、２次元イメージセンサ１１によって検出されたユーザ映像を利用してユーザの命令の入力を受けることができる。２次元イメージセンサ１１により検出されたユーザ映像を示す信号に対して、イメージ信号処理器１２によって映像処理過程が行われる。このような映像処理過程により、ユーザ映像信号は色相、彩度、明度などが調整されて品質が向上されることができる。
【００２０】
ユーザインタフェース部１３は、入力されたユーザ映像からユーザの命令を指示するオブジェクト（ｏｂｊｅｃｔ）領域を認識し、このオブジェクト領域の指示する命令を解釈して、それに対応する信号をシステムのメイン制御ユニット１４及びディスプレイ１５に伝達することができる。
【００２１】
図２は本発明の一実施形態によるユーザインタフェース装置をより詳細に図示した詳細構成図である。
【００２２】
図２を参照すると、本発明の一実施形態によるユーザインタフェース部は、割り込み発生部１３１と、オブジェクト設定部１３２と、オブジェクト認識部１３３と、を含むことができる。
【００２３】
上記割り込み発生部１３１は、ユーザ割り込みの種類を判断し、入力されるイメージで新しいオブジェクトを設定するか、または入力されるイメージから既設定されたオブジェクトを認識するかを決定することができる。
【００２４】
オブジェクト設定部１３２は、ユーザの割り込みが新しいオブジェクトを設定するための割り込みである場合、入力されるイメージで特定領域（例えば、手、携帯電話など）をオブジェクトに設定し、その内容を保存することができる。
【００２５】
オブジェクト認識部１３３は、既設定されたオブジェクトを認識するためのものであり、予め設定されて保存されているオブジェクトの情報に基づいて入力映像からオブジェクトを認識し、オブジェクトが行おうとする命令を判断してユーザインタフェース命令信号を出力することができる。
【００２６】
図３は本発明の一実施形態によるユーザインタフェース方法を図示したフローチャートである。
【００２７】
図３に図示したように、本発明の一実施形態によるユーザインタフェース方法は、まず、ユーザ割り込みの種類を判断する（Ｓ３１）。
【００２８】
ユーザ割り込みがオブジェクトを入力するためのものである場合、ユーザイメージをキャプチャし（Ｓ３２１）、キャプチャされたイメージでオブジェクトを設定する（Ｓ３２２）。
【００２９】
ユーザインタフェースの動作が終了したものでない場合（Ｓ３４）、さらにユーザ割り込みの種類を判断する段階（Ｓ３１）に戻ることができる。
【００３０】
一方、ユーザ割り込みがオブジェクトを認識するためのものである場合、予め設定されたオブジェクトの特徴を利用して、入力されるイメージからオブジェクトを認識し（Ｓ３３１）、認識されたオブジェクトの動きに応じてユーザインタフェースの動作（Ｓ３３２）を行うことができる。
【００３１】
図４は本発明の一実施形態によるユーザインタフェース装置及び方法が具現されるシステムの例示図である。
【００３２】
図４に図示したように、本発明のユーザインタフェース装置及び方法が具現されるシステムは、２次元イメージセンサ４１０を備えたノート型パソコン４００などのパーソナルコンピュータシステムであることができる。このノート型パソコン４００は、ユーザインタフェース動作の実行有無をフィードバックする照明４３０または／及び音響４４０装置を備えることができる。
【００３３】
図５は図４に図示されたシステムにおいて、ユーザインタフェースに用いられるオブジェクトを設定する概念を図示した図面である。即ち、図５は図２に図示されたオブジェクト設定部１３２の動作をより詳細に説明するための図面であり、図３に図示されたユーザイメージキャプチャ段階（Ｓ３２１）とオブジェクト設定段階（Ｓ３２２）をより詳細に説明するための図面として理解されることができる。
【００３４】
図５の（ａ）に図示されたように、ノート型パソコン５００に備えられた２次元イメージセンサを利用してユーザ５３０をキャプチャし（５１０）、オブジェクトを設定できる状態になったことをディスプレイ内の一部分に表示領域５２０を利用してユーザ５３０にフィードバックすることができる。
【００３５】
次に、図５の（ｂ）に図示されたように、ユーザインタフェースのオブジェクトとして用いようとする部分を移動させ（５５０）、システムがオブジェクト５４０を認識できるようにする。この際、図５の（ａ）と同様に、ディスプレイ内の表示領域５２０'を利用してオブジェクトの認識が行われていること及びオブジェクトの認識が完了したことを表示することができる。
【００３６】
図６は本発明の一実施形態によるユーザインタフェース装置及び方法において、オブジェクトの形状が変形される例を図示した図面である。
【００３７】
図６（ａ）及び（ｂ）に図示したように、設定されたオブジェクトの形状が同一の形状を維持することはできない。図６の（ａ）に図示されたオブジェクト６１０と図６の（ｂ）に図示されたオブジェクト６２０は、同一の手をオブジェクトに設定したものであるが、手の動きや撮像方向によって示される形状が異なることがある。
【００３８】
従って、オブジェクトの形状が一部変更される場合にもオブジェクトの認識がなされるようにするために、オブジェクトの形状及び輪郭だけでなく、色相、サイズ、質感をオブジェクト認識の手段として用いることが好ましい。
【００３９】
図７は本発明の一実施形態によるユーザインタフェース装置及び方法において、ユーザインタフェースを行う過程でオブジェクトの動きを認識する方法を説明する図面である。
【００４０】
図７の（ａ）はユーザがユーザインタフェースのためにオブジェクト７００を左右に繰り返し移動する場合を図示する。このような場合、右側に移動する場合と左側に移動する場合それぞれに対してシステムが反応すると、円滑なユーザインタフェースが困難である。この場合、一方向への移動のみを認識し、他方向は認識せずに無視することができる。
【００４１】
図７の（ｂ）のように、オブジェクト７００が実質的に同一の経路で両方向にオブジェクトの動きがある場合、認識された位置から外側方向への動きのみを認識し、その反対方向の動きは無視することができる。または、それとは反対に、認識された位置から内側方向への動きのみを認識し、その反対方向の動きは無視することができる。
【００４２】
図８は本発明の一実施形態によるユーザインタフェース装置及び方法の適用例を図示した図面である。
【００４３】
図８の（ａ）のように、システム（ノート型パソコン）８００のディスプレイには、特定機能を表示するイメージ８２０が表示される。例えば、このイメージ８２０は、ボリュームを増減させたりチャンネルを変換する機能を表示するイメージであることができる。ディスプレイの中央には、カーソルの役割をする任意のイメージ８３０が備えられることができる。このカーソルの役割をするイメージ８３０は、オブジェクト認識によって決定されたオブジェクトの動きを反映することができる。
【００４４】
図８の（ｂ）のように、オブジェクトの動きに応じてカーソルの役割をするイメージ８３０が移動して、特定機能に対応するイメージ８２０と重なる場合、該当イメージ８２０に指定された機能を行うようにすることができる。例えば、ボリューム増加の機能を表示するイメージと、ユーザのオブジェクトによって移動するイメージとが互いに重なる場合、システムのボリュームを増加させる機能が行われることができる。
【００４５】
以上で説明したように、本発明は、２次元イメージセンサを利用してユーザの動きを認識し、これによりシステムを安定して制御することができる。また、ユーザの動きに応じるシステムの反応をリアルタイムで把握することができるため、ユーザとシステムとの間において円滑したインタフェースが可能である。
【００４６】
以上、本発明の具体的な実施例を参照して本発明について詳細に説明したが、本発明の範囲を外れない限度内で多様な変形が可能であることは勿論のことである。従って、本発明の範囲は上述の実施例に限定されず、添付する特許請求の範囲と均等なものによって決められるべきである。
【符号の説明】
【００４７】
１１  ２次元イメージセンサ
１２  イメージ信号処理器
１３  ユーザインタフェース部
１４  システム制御ユニット
１５  ディスプレイ
【図１】
2012138084.tif 000003
【図２】
2012138084.tif 000004
【図３】
2012138084.tif 000005
【図４】
2012138084.tif 000006
【図５】
2012138084.tif 000007
【図６】
2012138084.tif 000008
【図７】
2012138084.tif 000009
【図８】
2012138084.tif 000010