(57)【特許請求の範囲】
【請求項１】
仮想客体を表示する装置において、
前記仮想客体と遠隔で相互作用を行う仮想客体制御手段の位置情報を検出する位置検出部と、
前記検出された位置情報を用いて、前記仮想客体制御手段のポインティング位置、ポインティング個数、動き形態、及び動き位置のうち少なくとも一つ以上を含むモーション情報を検出し、該検出されたモーション情報に基づいて、前記仮想客体を制御するためのジェスチャを選択するジェスチャ決定部と、
を含み、     
前記動き位置は、前記動き形態が前記仮想客体の内部からなされたものであるか、または外部からなされたものであるかを表わし、
前記ジェスチャ決定部は、
前記動き形態が直線である場合は前記仮想客体を移動または伸縮させるためのジェスチャを選択し、前記動き形態が曲線である場合は前記仮想客体を回転させるためのジェスチャを選択し、かつ、
選択されたジェスチャは、前記動き形態が前記仮想客体の内部からなされたものである場合と外部からなされたものである場合とで異なるジェスチャである、
ことを特徴とする仮想客体表示装置。
【請求項２】
前記選択されたジェスチャと前記仮想客体とを連携させ、前記仮想客体に対して、前記選択されたジェスチャに対応するイベントを実行するイベント実行部を含むことを特徴とする請求項１に記載の仮想客体表示装置。
【請求項３】
前記仮想客体制御手段は、
所定の光信号を放出する少なくとも１つ以上のポインティング装置またはユーザの身体の一部であることを特徴とする請求項１に記載の仮想客体表示装置。
【請求項４】
前記仮想客体を制御するためのジェスチャは、
前記仮想客体を選択するための選択ジェスチャ、前記仮想客体の表示位置を変更するための移動ジェスチャ、前記仮想客体の大きさを変更するための伸縮ジェスチャ、及び前記仮想客体を回転させるための回転ジェスチャのうち少なくとも一つであることを特徴とする請求項１に記載の仮想客体表示装置。
【請求項５】
前記ジェスチャ決定部は、
前記ポインティング位置と前記仮想客体の表示位置とが実質的に同一である場合、前記仮想客体を選択するためのジェスチャを選択することを特徴とする請求項１に記載の仮想客体表示装置。
【請求項６】
前記ジェスチャ決定部は、
前記ポインティング個数が単数であり、前記動き形態が直線であり、前記動き位置が、前記仮想客体の内部である場合、前記仮想客体を移動させるためのジェスチャを選択することを特徴とする請求項１に記載の仮想客体表示装置。
【請求項７】
前記ジェスチャ決定部は、
前記ポインティング個数が単数であり、前記動き形態が直線であり、前記動き位置が、前記仮想客体の外部である場合、前記仮想客体を伸縮させるためのジェスチャを選択することを特徴とする請求項１に記載の仮想客体表示装置。
【請求項８】
前記ジェスチャ決定部は、
前記ポインティング個数が単数であり、前記動き形態が曲線であり、前記動き位置が、前記仮想客体の内部である場合、前記仮想客体を回転させるためのジェスチャを選択することを特徴とする請求項１に記載の仮想客体表示装置。
【請求項９】
前記ジェスチャ決定部は、
前記ポインティング個数が単数であり、前記動き形態が曲線であり、前記動き位置が、前記仮想客体の外部である場合、前記仮想客体の環境を回転させるためのジェスチャを選択することを特徴とする請求項１に記載の仮想客体表示装置。
【請求項１０】
前記ジェスチャ決定部は、
前記ポインティング個数が単数である場合、前記仮想客体を移動させるためのジェスチャを選択することを特徴とする請求項１に記載の仮想客体表示装置。
【請求項１１】
前記ジェスチャ決定部は、
前記ポインティング個数が複数であり、前記動き形態が直線である場合、前記仮想客体を伸縮させるためのジェスチャを選択することを特徴とする請求項１に記載の仮想客体表示装置。
【請求項１２】
前記ジェスチャ決定部は、
前記ポインティング個数が複数であり、前記動き形態が曲線であり、前記動き位置が、前記仮想客体の内部である場合、何れか一つのポインティング位置を中心に、前記仮想客体を回転させるためのジェスチャを選択することを特徴とする請求項１に記載の仮想客体表示装置。
【請求項１３】
前記ジェスチャ決定部は、
前記ポインティング個数が複数であり、前記動き形態が曲線であり、前記動き位置が、前記仮想客体の外部である場合、何れか一つのポインティング位置を中心に、前記仮想客体の環境を回転させるためのジェスチャを選択することを特徴とする請求項１に記載の仮想客体表示装置。
【請求項１４】
仮想客体を制御する方法において、
前記仮想客体と遠隔で相互作用を行う仮想客体制御手段の位置情報を検出する段階と、
前記検出された位置情報を用いて、前記仮想客体制御手段のポインティング位置、ポインティング個数、動き形態、及び動き位置のうち少なくとも一つ以上を含むモーション情報を検出し、該検出されたモーション情報に基づいて、前記仮想客体を制御するためのジェスチャを選択する段階と、
を含み、
前記動き位置は、前記動き形態が前記仮想客体の内部からなされたものであるか、または外部からなされたものであるかを表わし、
前記ジェスチャを選択する段階は、
前記動き形態が直線である場合は前記仮想客体を移動または伸縮させるためのジェスチャを選択し、前記動き形態が曲線である場合は前記仮想客体を回転させるためのジェスチャを選択し、かつ、
選択されたジェスチャは、前記動き形態が前記仮想客体の内部からなされたものである場合と外部からなされたものである場合とで異なるジェスチャである、
ことを特徴とする仮想客体制御方法。
【請求項１５】
前記選択されたジェスチャと前記仮想客体とを連携させ、前記仮想客体に対して、前記選択されたジェスチャに対応するイベントを実行する段階を含むことを特徴とする請求項１４に記載の仮想客体制御方法。
【請求項１６】
前記位置情報を検出する段階は、
前記仮想客体制御手段から入力された光信号または前記仮想客体制御手段までの測定された距離を用いて、前記仮想客体制御手段の３次元位置座標を計算する過程を含むことを特徴とする請求項１４に記載の仮想客体制御方法。
【請求項１７】
前記仮想客体を制御するためのジェスチャは、
前記仮想客体を選択するための選択ジェスチャ、前記仮想客体の表示位置を変更するための移動ジェスチャ、前記仮想客体の大きさを変更するための伸縮ジェスチャ、及び前記仮想客体を回転させるための回転ジェスチャのうち少なくとも一つであることを特徴とする請求項１４に記載の仮想客体制御方法。
【請求項１８】
前記ジェスチャを選択する段階は、
前記ポインティング位置と前記仮想客体の表示位置とが実質的に同一である場合、前記仮想客体を選択するためのジェスチャを選択する過程を含むことを特徴とする請求項１４に記載の仮想客体制御方法。
【請求項１９】
前記ジェスチャを選択する段階は、
前記ポインティング個数が単数であり、前記動き形態が直線であり、前記動き位置が、前記仮想客体の内部である場合、前記仮想客体を移動させるためのジェスチャを選択する過程を含むことを特徴とする請求項１４に記載の仮想客体制御方法。
【請求項２０】
前記ジェスチャを選択する段階は、
前記ポインティング個数が単数であり、前記動き形態が直線であり、前記動き位置が、前記仮想客体の外部である場合、前記仮想客体を伸縮させるためのジェスチャを選択する過程を含むことを特徴とする請求項１４に記載の仮想客体制御方法。
【請求項２１】
前記ジェスチャを選択する段階は、
前記ポインティング個数が単数であり、前記動き形態が曲線であり、前記動き位置が、前記仮想客体の内部である場合、前記仮想客体を回転させるためのジェスチャを選択する過程を含むことを特徴とする請求項１４に記載の仮想客体制御方法。
【請求項２２】
前記ジェスチャを選択する段階は、
前記ポインティング個数が単数であり、前記動き形態が曲線であり、前記動き位置が、前記仮想客体の外部である場合、前記仮想客体の環境を回転させるためのジェスチャを選択する過程を含むことを特徴とする請求項１４に記載の仮想客体制御方法。
【請求項２３】
前記ジェスチャを選択する段階は、
前記ポインティング個数が単数である場合、前記仮想客体を移動させるためのジェスチャを選択する過程を含むことを特徴とする請求項１４に記載の仮想客体制御方法。
【請求項２４】
前記ジェスチャを選択する段階は、
前記ポインティング個数が複数であり、前記動き形態が直線である場合、前記仮想客体を伸縮させるためのジェスチャを選択する過程を含むことを特徴とする請求項１４に記載の仮想客体制御方法。
【請求項２５】
前記ジェスチャを選択する段階は、
前記ポインティング個数が複数であり、前記動き形態が曲線であり、前記動き位置が、前記仮想客体の内部である場合、何れか一つのポインティング位置を中心に、前記仮想客体を回転させるためのジェスチャを選択する過程を含むことを特徴とする請求項１４に記載の仮想客体制御方法。
【請求項２６】
前記ジェスチャを選択する段階は、
前記ポインティング個数が複数であり、前記動き形態が曲線であり、前記動き位置が、前記仮想客体の外部である場合、何れか一つのポインティング位置を中心に、前記仮想客体の環境を回転させるためのジェスチャを選択する過程を含むことを特徴とする請求項１４に記載の仮想客体制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想客体を制御するためのポインティング入力技術及びジェスチャ認識技術に関する。
【背景技術】
【０００２】
最近、携帯電話などの端末において、使用可能な機能の種類が増加するにつれて、各機能に対応するユーザインターフェースも増加しつつある。例えば、最新端末には、増加したユーザインターフェースのために、各種メニューキーまたはボタンが多様に備えられている。
【０００３】
しかし、機能の種類がもともと多様であり、各種メニューキーまたはボタンの配置構造も直観的になされないために、ユーザが特定機能を使うためには、或るメニューキーを如何に操作しなければならないかを知るのに難しさを感じる場合が多い。
【０００４】
ユーザが使い易いように、より直観的なインターフェース方式のうち代表的なものとして、タッチインターフェースがある。タッチインターフェースは、ユーザがスクリーン上に表示された仮想客体またはタッチインターフェースと直接的に作用（ｉｎｔｅｒａｃｔｉｏｎ）することができる最も単純な方式の一つである。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、マルチテレポインタ、仮想客体表示装置、及び仮想客体制御方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明の一態様による仮想客体制御方法は、仮想客体と遠隔で相互作用を行う仮想客体制御手段の位置情報を検出する段階と、該検出された位置情報を用いて、仮想客体制御手段のポインティング位置、ポインティング個数、動き形態、及び動き位置のうち少なくとも一つ以上を含むモーション情報を検出し、該検出されたモーション情報に基づいて、仮想客体を制御するためのジェスチャを選択する段階と、該選択されたジェスチャと仮想客体とを連携させ、仮想客体に対して、選択されたジェスチャに対応するイベントを実行する段階と、を有する。
【０００７】
本発明の一態様による仮想客体表示装置は、仮想客体と遠隔で相互作用を行う仮想客体制御手段の位置情報を検出する位置検出部と、検出された位置情報を用いて、仮想客体制御手段のポインティング位置、ポインティング個数、動き形態、及び動き位置のうち少なくとも一つ以上を含むモーション情報を検出し、該検出されたモーション情報に基づいて、仮想客体を制御するためのジェスチャを選択するジェスチャ決定部と、選択されたジェスチャと仮想客体とを連携させ、仮想客体に対して、選択されたジェスチャに対応するイベントを実行するイベント実行部と、を有する。
【０００８】
本発明の一態様によって、選択されるジェスチャは、検出されたモーション情報、すなわち、仮想客体制御手段のポインティング位置、ポインティング個数、動き形態、及び動き位置によって、選択ジェスチャ、移動ジェスチャ、伸縮ジェスチャ、及び回転ジェスチャのうち何れか一つ以上になりうる。モーション情報は、仮想客体制御手段の位置情報から検出され、仮想客体制御手段の位置情報は、仮想客体制御手段から受信された光信号または測定された仮想客体制御手段の距離から獲得される。
【０００９】
一方、本発明の一態様によるマルチテレポインタは、光信号を投射する投光部と、タッチ及び動きを感知する入力感知部と、投光部を制御して、光信号を通じて位置情報とタッチ及び動き情報とを含む感知情報を提供する入力制御部と、を有する。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態による仮想客体システムを示す図である。
【図２Ａ】本発明の一実施形態による仮想客体制御装置の外部構成を示す図である。
【図２Ｂ】本発明の一実施形態による仮想客体制御装置の外部構成を示す図である。
【図３】本発明の一実施形態による仮想客体制御装置の内部構成を示す図である。
【図４Ａ】本発明の一実施形態による仮想客体表示装置の外部構成を示す図である。
【図４Ｂ】本発明の一実施形態による仮想客体表示装置の外部構成を示す図である。
【図５】本発明の一実施形態による仮想客体表示装置の内部構成を示す図である。
【図６】本発明の一実施形態による仮想客体制御方法を示す図である。
【図７Ａ】本発明の他の実施形態による仮想客体制御方法を示す図である。
【図７Ｂ】本発明の他の実施形態による仮想客体制御方法を示す図である。
【図７Ｃ】本発明の他の実施形態による仮想客体制御方法を示す図である。
【図７Ｄ】本発明の他の実施形態による仮想客体制御方法を示す図である。
【図８】本発明のまた他の実施形態による仮想客体制御方法を示す図である。
【図９】本発明の一実施形態による仮想客体選択方法を示す図である。
【図１０】本発明の一実施形態による仮想客体移動方法を示す図である。
【図１１Ａ】本発明の一実施形態による仮想客体伸縮方法を示す図である。
【図１１Ｂ】本発明の一実施形態による仮想客体伸縮方法を示す図である。
【図１１Ｃ】本発明の一実施形態による仮想客体伸縮方法を示す図である。
【図１２Ａ】本発明の一実施形態による仮想客体回転方法を示す図である。
【図１２Ｂ】本発明の一実施形態による仮想客体回転方法を示す図である。
【図１２Ｃ】本発明の一実施形態による仮想客体回転方法を示す図である。
【図１２Ｄ】本発明の一実施形態による仮想客体回転方法を示す図である。
【図１３】本発明の他の実施形態による仮想客体表示装置の内部構成を示す図である。
【発明を実施するための形態】
【００１１】
以下、添付した図面を参照して、本発明の実施のための具体例を詳しく説明する。
【００１２】
図１は、本発明の一実施形態による仮想客体システムを示す図である。図１を参照すると、仮想客体システム１００は、仮想客体表示装置１０１と仮想客体制御装置１０２とを含む。
【００１３】
仮想客体表示装置１０１は、仮想客体１０３を表示する。例えば、仮想客体表示装置１０１は、備えられたディスプレイ画面上に仮想客体１０３を表示することができる。ここで、仮想客体１０３は、３次元グラフィックイメージに表現された各種キャラクター、アイコン（ｉｃｏｎ）、アバター（ａｖａｔａｒ）、及び仮想環境（ｖｉｒｔｕａｌ  ｗｏｒｌｄ）などの一つである。このような仮想客体１０３を提供する仮想客体表示装置１０１は、ＴＶ、コンピュータ、携帯電話、ＰＤＡなどである。
【００１４】
仮想客体制御装置１０２は、仮想客体１０３と遠隔で相互作用を行う。仮想客体制御装置１０２は、ユーザの身体の一部を利用することができる。また、仮想客体制御装置１０２は、リモコンのように所定の光信号を放出するポインティング装置になることもある。例えば、ユーザは、ユーザの指または別途のポインティング装置を操作して、仮想客体表示装置１０１に表示された仮想客体１０３を選択し、該選択された仮想客体１０３を移動、回転または伸縮させることが可能である。
【００１５】
仮想客体表示装置１０１は、仮想客体制御装置１０２の位置情報を検出し、該検出された位置情報に基づいて、仮想客体制御装置１０２のモーション情報を獲得する。
【００１６】
仮想客体制御装置１０２の位置情報とは、仮想客体制御装置１０２の３次元位置座標である。仮想客体表示装置１０１は、仮想客体制御装置１０２が放出する光信号を検出する光応答センサーまたは仮想客体制御装置１０２の距離を測定する距離センサーを用いて、仮想客体制御装置１０２の３次元位置座標を獲得することができる。
【００１７】
また、仮想客体制御装置１０２のモーション情報とは、検出された位置情報に基づいて計算された仮想客体制御装置１０２のポインティング位置、ポインティング個数、動き形態、及び動き位置などになりうる。ここで、ポインティング位置は、仮想客体制御装置１０２が示す仮想客体表示装置１０１の特定部分を言う。そして、ポインティング個数とは、このようなポインティング位置の個数である。また、仮想客体制御装置１０２の動きとは、ポインティング位置の変化に対応するものであって、動き形態は、直線形態または曲線形態になりうる。動き位置は、このような動き形態が仮想客体１０３の内部からなされたものであるか、または外部からなされたものであるか否かを表わすことができる。
【００１８】
仮想客体表示装置１０１は、獲得された仮想客体制御装置１０２のモーション情報に基づいて仮想客体１０３を制御するための適切なジェスチャを選択する。すなわち、仮想客体表示装置１０１は、ユーザの仮想客体制御装置１０２の操作行動を分析し、その分析結果によって、ユーザの操作行動に適したジェスチャを決定することが可能である。決定されるジェスチャは、仮想客体１０３を選択するための選択ジェスチャ、仮想客体１０３の表示位置を変更するための移動ジェスチャ、仮想客体１０３の大きさを増加または減少させるための伸縮ジェスチャ、及び仮想客体１０３を回転させるための回転ジェスチャなどである。仮想客体表示装置１０１が獲得されたモーション情報を如何に用いて、如何なるジェスチャを選択するかについての詳細な内容は後述する。
【００１９】
所定のジェスチャが選択されれば、仮想客体表示装置１０１は、選択されたジェスチャと仮想客体１０３とを連携させる。そして、仮想客体表示装置１０１は、選択されたジェスチャに対応するイベントを実行する。例えば、仮想客体表示装置１０１は、仮想客体１０３を選択、移動、伸縮、または回転させることができる。
【００２０】
このように、仮想客体表示装置１０１が、仮想客体制御装置１０２のモーション情報を検出し、該検出されたモーション情報に基づいて適切なジェスチャを選択した後、該選択されたジェスチャによって、仮想客体１０３の選択、移動、伸縮、及び回転を制御するので、ユーザは、直観的に仮想客体制御装置１０２を操作して、現実世界のように仮想客体を制御することができる。
【００２１】
図２Ａ及び図２Ｂは、本発明の一実施形態による仮想客体制御装置の外部構成を示す図である。
【００２２】
図２Ａを参照すると、仮想客体制御装置２００は、第１仮想客体制御装置２０１及び第２仮想客体制御装置２０２を有する。そして、それぞれの仮想客体制御装置２０１、２０２は、発光素子２１０、タッチセンサー２２０及び動き感知センサー２３０を備える。
【００２３】
そして、第１仮想客体制御装置２０１と第２仮想客体制御装置２０２は、図２Ｂのように結合が可能である。例えば、使用時には、図２Ａのように第１仮想客体制御装置２０１を左手に握り、第２仮想客体制御装置２０２を右手に握って使うことができる。また、保管時には、図２Ｂのように第１仮想客体制御装置２０１と第２仮想客体制御装置２０２とを結合させて保管することができる。しかし、必ずしもこれに限定されるものではなく、必要に応じて図２Ｂのように結合された状態で使うこともできる。
【００２４】
図２Ａ及び図２Ｂで、発光素子２１０は、光を放出する。発光素子２１０から放出される光は、赤外光またはレーザなどでよい。例えば、発光素子２１０は、ＬＥＤ素子を通じて実現できる。
【００２５】
タッチセンサー２２０は、ユーザの接触の有無を感知する。例えば、タッチセンサー２２０は、ボタン、圧電素子またはタッチスクリーンなどを用いて形成される。タッチセンサー２２０の形態は、多様に変更できる。例えば、タッチセンサー２２０の形態は、円形、楕円形、正方形、長方形、三角形などでよい。タッチセンサー２２０の外部周りは、タッチセンサー２２０の作動境界を定義する。タッチセンサー２２０が、円形形態である場合、円形タッチセンサーは、ユーザが自在な方式で指を連続して渦形態に動かすことができる。そして、タッチセンサー２２０は、指（または、物体）の圧力などを感知するセンサーが使われることもある。例えば、センサーが抵抗性感知、表面音波感知、圧力感知、光学的感知、容量性感知などを基盤とするものを採用できる。多数のセンサーは、指が、このセンサー上に置かれるか、その上を叩くか、その上を通り過ぎることによって、活性化されるように構成することができる。タッチスクリーンを用いてタッチセンサー２２０を作る場合、タッチセンサー２２０を通じて仮想客体１０３を制御するための各種インターフェース及び制御結果を案内するように作ることも可能である。
【００２６】
動き感知センサー２３０は、仮想客体制御装置２００の加速度、角速度などを測定する。例えば、動き感知センサー２３０は、重力感知センサーまたは慣性センサーになりうる。
【００２７】
ユーザが、仮想客体制御装置２００を操作する場合、仮想客体制御装置２００は、タッチセンサー２２０から生成されたユーザのタッチ情報または動き感知センサー２３０から生成されたユーザの動作情報などを発光素子２１０の光信号に入れて、仮想客体表示装置１０１に提供する。
【００２８】
仮想客体制御装置２００は、独立型ユニット形態であるか、電子装置に統合された形態でもよい。独立型ユニットである場合、自体ハウジング（ｈｏｕｓｉｎｇ）を有し、電子装置に統合される場合、電子装置のハウジングを利用できる。ここで、電子装置は、ＰＤＡ、ミュージックプレーヤーのようなメディアプレーヤー、携帯電話のような通信装置などが利用できる。
【００２９】
図３は、本発明の一実施形態による仮想客体制御装置の内部構成を示す図である。図３を参照すると、仮想客体制御装置３００は、投光部３０１、入力感知部３０２及び入力制御部３０３を有する。
【００３０】
投光部３０１は、発光素子２１０に対応する部分であって、所定の光信号を生成する。
【００３１】
入力感知部３０２は、タッチ情報と動き情報とをタッチセンサー２２０及び動き感知センサー２３０からそれぞれ受信する。入力感知部３０２は、受信されたタッチ情報と動き情報とを適切に変換及び加工する。変換及び加工された情報は、タッチスクリーンで形成されたタッチセンサー２２０に表示されるようにもできる。
【００３２】
入力制御部３０３は、入力感知部３０２のタッチ情報及び動き情報に基づいて投光部３０１を制御する。例えば、ユーザが、タッチセンサー２２０を押したか、押さなかったか否かによって生成される光信号の波長を異ならせて調節することができる。また、動き情報に基づいて、他の波長の光信号を生成させることもできる。
【００３３】
例えば、ユーザは、投光部３０１を所望の位置に向かうようにし、タッチセンサー２２０を押して、仮想客体表示装置１０１の特定部分に光を入射させることによって、ポインティング位置を提供する。
【００３４】
図２Ａ、図２Ｂ及び図３で、仮想客体制御装置２００、３００が、所定の光信号を生成するものと説明したが、仮想客体制御装置２００、３００が、必ずしもこれに限定されるものではない。例えば、ユーザが、別途の道具を利用せずに自身の手を利用することもできる。
【００３５】
図４Ａ及び図４Ｂは、本発明の一実施形態による仮想客体表示装置の外部構成を示す図である。
【００３６】
図４Ａを参照すると、仮想客体表示装置４００は、多数の光応答素子４０１を有する。例えば、仮想客体表示装置４００は、セルの間に光応答素子４０１が配列された内部セルタイプディスプレイ（Ｉｎ−Ｃｅｌｌ  ｔｙｐｅ  Ｄｉｓｐｌａｙ）を利用できる。ここで、光応答素子４０１は、フォトダイオード（Ｐｈｏｔｏ  ｄｉｏｄｅ）、光トランジスタ（Ｐｈｏｔｏ  Ｔｒａｎｓｉｓｔｏｒ）、硫化カドミウム（ＣｄＳ）、太陽電池（Ｓｏｌａｒ  ｃｅｌｌ）などを用いることができる。
【００３７】
仮想客体制御装置１０２が、光信号を放出する場合、仮想客体表示装置４００は、光応答素子４０１を用いて仮想客体制御装置１０２の光信号を検出し、該検出された光信号に基づいて仮想客体制御装置１０２の３次元位置情報を獲得することができる。
【００３８】
図４Ｂを参照すると、仮想客体表示装置４００は、モーション感知センサー４０２を備える。モーション感知センサー４０２は、外部レファレンスポジショニングディスプレイ（Ｅｘｔｅｒｎａｌ  Ｒｅｆｅｒｅｎｃｅｄ  ｐｏｓｉｔｉｏｎｉｎｇ  Ｄｉｓｐｌａｙ）のようにユーザのモーションを認識して、３次元位置情報を獲得することができる。
【００３９】
仮想客体制御装置１０２が、光信号を放射する場合、モーション感知センサー４０２が、光信号を検出し、該検出された光信号に基づいて仮想客体制御装置１０２の３次元位置情報を獲得する。また、仮想客体制御装置１０２としてユーザの手が利用される場合、少なくとも２つ以上のモーション感知センサー４０２がユーザの手までの距離を測定した後、該測定された距離に三角法を適用して、ユーザの手についての３次元位置情報を獲得することができる。
【００４０】
図４Ａ及び図４Ｂで、ユーザは、仮想客体表示装置４００を通じて一つの画面に複数の仮想客体を互いに共有することができる。例えば、テーブルのような平らなディスプレイにユーザインターフェース技術を結合することによって、会議のように複数の人が同時に意見交換を行う席でユーザとシステムまたはユーザとユーザとの間に早い情報交換及び意思決定が可能である。
【００４１】
図５は、本発明の一実施形態による仮想客体表示装置の内部構成を示す図である。図５を参照すると、仮想客体表示装置５００は、位置検出部５０１、ジェスチャ決定部５０２、及びイベント実行部５０３を有する。
【００４２】
位置検出部５０１は、仮想客体１０３と遠隔で相互作用を行う仮想客体制御装置１０２の位置情報を検出する。例えば、位置検出部５０１は、仮想客体制御装置１０２が放射した光信号を光応答素子４０１を通じて検出し、該検出された光信号に基づいて３次元位置情報を獲得する。また、仮想客体制御装置１０２が、光信号を放射しないとしても、位置検出部５０１は、モーション感知センサー４０２を通じて仮想客体制御装置１０２までの距離を測定し、該測定された距離に基づいて３次元位置情報を獲得することができる。
【００４３】
ジェスチャ決定部５０２は、検出された位置情報を用いて仮想客体制御装置１０２のモーション情報を検出し、該検出されたモーション情報に基づいて仮想客体１０３を制御するためのジェスチャを選択する。モーション情報は、仮想客体制御装置１０２のポインティング位置、ポインティング個数、動き形態、及び動き位置のうち少なくとも一つ以上を含みうる。選択されるジェスチャは、仮想客体１０３を選択するための選択ジェスチャ、仮想客体１０３の表示位置を変更するための移動ジェスチャ、仮想客体１０３の大きさを増加または減少させるための伸縮ジェスチャ、及び仮想客体１０３を回転させるための回転ジェスチャのうち少なくとも一つ以上になりうる。例えば、ジェスチャ決定部５０２は、検出されたモーション情報に基づいてユーザの仮想客体制御装置１０２の操作行動が、仮想客体１０３を選択するためのものであるか、移動させるためのものであるか、回転させるためのものであるか、または伸縮させるためのものであるかなどを判断することができる。
【００４４】
イベント実行部５０３は、選択されたジェスチャと仮想客体１０３とを連携させ、仮想客体１０３に対して選択されたジェスチャに対応するイベントを実行する。例えば、イベント実行部５０３は、選択されたジェスチャによって、仮想客体１０３を選択、移動、回転、または伸縮させることができる。
【００４５】
図６は、本発明の一実施形態による仮想客体制御方法を示す図である。これは、選択ジェスチャが決定される方法に関する一例である。図６を参照すると、仮想客体制御方法６００は、まず仮想客体制御装置１０２のポインティング位置を検出する（６０１）。仮想客体制御装置１０２のポインティング位置は、光応答センサー４０１またはモーション感知センサー４０２を通じて検出された位置情報に基づいて得られる。
【００４６】
仮想客体制御方法６００は、検出されたポインティング位置が、仮想客体１０３の表示位置と実質的に同一であるか否かを判断する（６０２）。一実施形態によって、ポインティング位置と仮想客体１０３の表示位置とが実質的に同一であるということは、仮想客体１０３を中心にポインティング位置が所定の閉曲線を成す場合を含みうる。例えば、選択を所望する仮想客体１０３の周辺に仮想客体制御装置１０２を示し、仮想客体１０３を中心に所定の円を描く場合にも、ポインティング位置と仮想客体１０３の表示位置とが実質的に同一であると見てよい。
【００４７】
仮想客体制御方法６００は、検出されたポインティング位置が、仮想客体１０３の表示位置と実質的に同一である場合、その位置でタッチ信号またはＺ軸動きがあるか否かを判断する（６０３）。タッチ信号は、仮想客体制御装置１０２の特定の光信号または光信号の変化量になり、Ｚ軸動きとは、仮想客体表示装置１０１の画面に垂直方向、すなわち、深さ方向の動きを言う。タッチ信号は、ユーザが仮想客体制御装置２００のタッチセンサー２２０をタッチすると発生する。Ｚ軸動きは、光応答センサー４０１またはモーション感知センサー４０２を通じて検出された位置情報に基づいて得られる。
【００４８】
仮想客体制御方法６００は、タッチ信号またはＺ軸動きがある場合、仮想客体１０３を選択するためのジェスチャを選択する（６０４）。
【００４９】
選択ジェスチャが選択されれば、イベント実行部５０３は、選択された仮想客体１０３の色を変化させるか、フレームを強調するイベントを実行して、仮想客体１０３が選択されたということをユーザに知らせる。
【００５０】
したがって、ユーザは、仮想客体制御装置１０２のポインティング位置を仮想客体１０３に一致させ、選択ボタン（例えば、タッチセンサー２２０）を押すか、仮想客体表示装置１０１の画面に垂直な方向に仮想客体制御装置１０２を動かして、直観的に仮想客体１０３を選択することができる。
【００５１】
図７Ａないし図７Ｄは、本発明の他の実施形態による仮想客体制御方法を示す図である。これは、移動、伸縮、または回転ジェスチャが決定される方法に関する一例である。
【００５２】
図７Ａを参照すると、仮想客体制御方法７００は、仮想客体１０３が選択されれば（７０１）、ポインティング個数が１個であるか、または多数個であるか否かを判断する（７０２）。仮想客体１０３が選択されたか否かは、図６で例示した方法を通じて決定される。
【００５３】
ポインティング個数が１個である場合、Ａ過程に移る。Ａ過程の一例として、図７Ｂを参照すると、仮想客体制御方法７００は、動き形態が直線であるか、または曲線であるか否かを判断する（７０３）。動き形態とは、ポインティング位置の変化形態である。動き形態が直線である場合、仮想客体制御方法７００は、動き位置が、仮想客体１０３の内部であるか、または外部であるか否かを判断する（７０４）。動き位置が、仮想客体１０３の内部である場合、仮想客体制御方法７００は、仮想客体１０３を移動させるためのジェスチャを選択し（７０５）、動き位置が、仮想客体１０３の外部である場合、仮想客体１０３を伸縮させるためのジェスチャを選択する（７０６）。また、動き形態が曲線である場合、仮想客体制御方法７００は、動き位置が、仮想客体１０３の内部であるか、または外部であるか否かを判断する（７０７）。動き位置が、仮想客体１０３の内部である場合、仮想客体制御方法７００は、仮想客体１０３を回転させるための第１回転ジェスチャを選択し（７０８）、動き位置が、仮想客体１０３の外部である場合、仮想客体１０３の環境を回転させるための第２回転ジェスチャを選択する（７０９）。
【００５４】
Ａ過程の他の例として、図７Ｃを参照すると、仮想客体制御方法７００は、ポインティング個数が１個である場合、動き形態及び動き位置を判断せずに即時に仮想客体１０３を移動させるためのジェスチャを選択することができる（７１０）。
【００５５】
再び図７Ａに戻って、ポインティング個数が多数個である場合、Ｂ過程に移る。
【００５６】
Ｂ過程の一例として、図７Ｄを参照すると、仮想客体制御方法７００は、動き形態が直線であるか、または曲線であるか否かを判断する（７１１）。動き形態が直線である場合、仮想客体制御方法７００は、仮想客体１０３を伸縮するためのジェスチャを選択する（７１２）。動き形態が曲線である場合、仮想客体制御方法７００は、動き位置が、仮想客体１０３の内部であるか、または外部であるか否かを判断する（７１３）。動き位置が、仮想客体１０３の内部である場合、仮想客体制御方法７００は、何れか一つのポインティング位置を回転中心として設定し、他のポインティング位置の移動によって、仮想客体１０３を回転させるための第３回転ジェスチャを選択する（７１４）。動き位置が、仮想客体１０３の外部である場合、仮想客体制御方法７００は、何れか一つのポインティング位置を回転中心として設定し、他のポインティング位置の移動によって、仮想客体１０３の環境を回転させるための第４回転ジェスチャを選択する（７１５）。
【００５７】
図８は、本発明のまた他の実施形態による仮想客体制御方法を示す図である。これは、イベント実行方法に関する一例である。図８を参照すると、特定のジェスチャが選択されれば、仮想客体制御方法８００は、選択されたジェスチャと仮想客体１０３とを連携させる（８０１）。
【００５８】
そして、仮想客体制御方法８００は、仮想客体１０３に対して選択されたジェスチャに対応するイベントを実行する（８０２）。例えば、選択ジェスチャが選択された場合、仮想客体１０３の色またはフレームを変更するイベントができる。移動ジェスチャが選択された場合、仮想客体１０３の表示位置を変更するイベントができる。回転ジェスチャが選択された場合、仮想客体１０３または仮想客体１０３の環境を回転させるイベントができる。伸縮ジェスチャが選択された場合、仮想客体１０３の大きさを増加または減少させるイベントができる。
【００５９】
このように、開示された仮想客体表示装置１０１は、仮想客体制御装置１０２の位置情報に基づいてポインティング位置、ポインティング個数、動き形態、及び動き位置のようなモーション情報を抽出し、該抽出されたモーション情報に基づいて適切なジェスチャを選択することによって、ユーザが現実世界と同様に仮想客体１０３を制御を可能にする。
【００６０】
図９は、本発明の一実施形態による仮想客体の選択方法を示す図である。図９を参照すると、ユーザは、仮想客体制御装置１０２が仮想客体１０３を示した状態で仮想客体制御装置１０２のタッチセンサー２２０をタッチするか、仮想客体制御装置１０２を−Ｚ軸方向に動かして、仮想客体１０３を選択することができる。
【００６１】
例えば、ユーザは、仮想客体制御装置１０２のポインティング位置９０１と仮想客体１０３の表示位置とを一致させ、タッチセンサー２２０を押すか、タッチセンサー２２０を押した状態で仮想客体制御装置１０２のポインティング位置９０１を変化させ、仮想客体１０３を中心に所定の閉曲線９０２を描くこともできる。
【００６２】
一方、他の実施形態によって、仮想客体１０３が選択されれば、後述する移動、伸縮、回転のために所定のガイドラインが表示されるようにすることもできる。
【００６３】
図１０は、本発明の一実施形態による仮想客体の移動方法を示す図である。図１０を参照すると、ユーザは、図９のように仮想客体１０３を選択した後、仮想客体制御装置１０２のポインティング位置１００１を仮想客体１０３の内部に位置させ、ポインティング位置１００１が直線的に変化するように仮想客体制御装置１０２を操作して、仮想客体１０３を移動させることができる。
【００６４】
ポインティング位置の変化、すなわち、仮想客体制御装置１０２の動きは、３次元的になされうる。例えば、ユーザが仮想客体１０３を選択し、仮想客体制御装置１０２を仮想客体表示装置１０１の右側（すなわち、＋ｘ方向）に動けば、仮想客体１０３が仮想客体表示装置１０１の画面上で右側に動くことができる。また、ユーザが、仮想客体表示装置１０１から遠ざかる方向（すなわち、＋ｚ方向）に仮想客体制御装置１０２を引けば、仮想客体１０３は、仮想客体表示装置１０１の画面上で前方に移動することが可能である。仮想客体表示装置１０１の画面は、２次元平面であるために、一実施形態によって、仮想客体１０３の前方または後方への移動は、適切な大きさ及び位置変化で行なうことができる。
【００６５】
図１１Ａないし図１１Ｃは、本発明の一実施形態による仮想客体の伸縮方法を示す図である。
【００６６】
図１１Ａを参照すると、ユーザは、図９のように仮想客体１０３を選択した後、仮想客体制御装置１０２の１つのポインティング位置１１０１を仮想客体１０３の外部に位置させ、ポインティング位置１１０１が直線的に変化するように仮想客体制御装置１０２を操作して、仮想客体１０３を伸縮させることができる。例えば、ユーザは、仮想客体１０３の境界部分またはエッジ部分を示すように仮想客体制御装置１０２を操作し、タッチセンサー２２０を押した状態で＋ｘ及び＋ｙ方向に仮想客体制御装置１０２を動かして、仮想客体１０３の大きさを増加させることができる。
【００６７】
図１１Ｂを参照すると、ユーザは、図９のように仮想客体１０３を選択した後、仮想客体制御装置１０２の２つのポインティング位置１１０２、１１０３を仮想客体１０３の内部に位置させ、ポインティング位置１１０２、１１０３が直線的に変化するように仮想客体制御装置１０２を操作して、仮想客体を伸縮させることができる。例えば、ユーザは、両手で仮想客体制御装置１０２を動かして仮想客体１０３を−ｘ及び＋ｘ方向に増やすことができる。
【００６８】
図１１Ｃを参照すると、ユーザは、図９のように仮想客体１０３を選択した後、仮想客体制御装置１０２の２つのポインティング位置１１０４、１１０５を仮想客体１０３の外部に位置させ、ポインティング位置１１０４、１１０５が直線的に変化するように仮想客体制御装置１０２を操作して、仮想客体を伸縮させることもできる。
【００６９】
図１１Ａないし図１１Ｃで、仮想客体１０３の伸縮が、平面的になされるもののみ例示したが、必ずしもこれに限定されるものではない。説明の便宜上、２次元的に例示したものであり、仮想客体１０３の伸縮は、３次元的になされうる。例えば、図１１Ｂで、第１ポインティング位置１１０２に対応する何れか一つの仮想客体制御装置２０１（図２Ａ参照）は、前方（＋ｚ方向）に引き、第２ポインティング位置１１０３に対応する他の一つの仮想客体制御装置２０２（図２Ａ参照）は、後方（−ｚ方向）に押して、−ｚ方向及び＋ｚ方向に仮想客体１０３の大きさを増やすこともできる。
【００７０】
図１２Ａないし図１２Ｄは、本発明の一実施形態による仮想客体または仮想客体の環境の回転方法を示す図である。
【００７１】
図１２Ａを参照すると、ユーザは、図９のように仮想客体１０３を選択した後、仮想客体制御装置１０２のポインティング位置１２０１を仮想客体１０３の内部に位置させ、ポインティング位置１２０１が曲線的に変化するように仮想客体制御装置１０２を操作して、仮想客体１０３を回転させることができる。この際、回転中心は、仮想客体１０３の中心またはポインティング位置１２０１の曲線運動の中心になりうる。
【００７２】
図１２Ｂを参照すると、ユーザは、図９のように仮想客体１０３を選択した後、仮想客体制御装置１０２のポインティング位置１２０２を仮想客体１０３の外部に位置させ、ポインティング位置１２０２が曲線的に変化するように仮想客体制御装置１０２を操作して、仮想客体１０３の周辺環境を回転させることもできる。この際、回転中心は、仮想客体１０３の中心またはポインティング位置１２０２の曲線運動の中心になりうる。また、選択的に、仮想客体１０３は、固定されたまま周辺環境のみ回転させるか、仮想客体１０３と共にあらゆる環境を回転させることもできる。
【００７３】
図１２Ｃを参照すると、ユーザは、図９のように仮想客体１０３を選択した後、仮想客体制御装置の第１ポインティング位置１２０３と第２ポインティング位置１２０４とを仮想客体の内部に位置させ、第２ポインティング位置１２０４が曲線的に変化するように仮想客体制御装置１０２を操作して、仮想客体１０３を回転させることができる。この際、回転中心は、第１ポインティング位置１２０３になりうる。
【００７４】
図１２Ｄを参照すると、ユーザは、図９のように仮想客体１０３を選択した後、仮想客体制御装置の第１ポインティング位置１２０５と第２ポインティング位置１２０６とを仮想客体の内部に位置させ、第２ポインティング位置１２０６が曲線的に変化するように仮想客体制御装置１０２を操作して、仮想客体１０３及び／または仮想客体１０３の環境を回転させることができる。この際、回転中心は、第１ポインティング位置１２０５になる。
【００７５】
図１２Ａないし図１２Ｄで、仮想客体１０３及び／または仮想客体１０３の環境の回転が平面的になされるもののみ例示したが、必ずしもこれに限定されるものではない。説明の便宜上、２次元的に例示したものであり、仮想客体１０３の回転は、３次元的になされうる。例えば、図１２Ａで、ユーザは、仮想客体制御装置１０２のポインティング位置１２０１を仮想客体１０３上に置き、釣り台を引くように円を描きながら仮想客体制御装置１０２を後方に引けば、仮想客体１０３がＸ軸に対して回転を行うことも可能である。
【００７６】
本発明の一実施形態によって、前述した選択、移動、伸縮、及び回転は、仮想客体１０３別に独立してなされることもあり、何れか一つの仮想客体１０３に対して同時になされることもある。例えば、仮想客体１０３を移動しながら回転させるか、何れか一つのポインティング位置にはｘｙ平面上の移動を制御し、他の一つのポインティング位置にｚ軸上の移動を制御することもできる。
【００７７】
図１３は、本発明の他の実施形態による仮想客体表示装置の内部構成を示す図である。図１３を参照すると、仮想客体表示装置１３００は、受信部２０、ジェスチャ認識部２２、ポインティング連携部２４、及びイベント実行部２６を有する。受信部２０は、仮想客体制御装置１０２から感知情報を含んだ入力信号を受信する。例えば、受信部２０は、仮想客体制御装置２００のタッチセンサー２２０または動き感知センサー２３０を通じて感知された感知情報を受信する。ジェスチャ認識部２２は、受信部２０を通じて受信された感知情報を分析して、仮想客体制御装置１０２がポインティングする位置情報と仮想客体制御装置１０２のタッチ及び動き情報とを抽出する。そして、抽出された情報に基づいてジェスチャを認識する。この際、ポインティングする位置情報には、ポインティング個数の情報が含まれ、動き情報には、動き形態及び動き位置が含まれる。
【００７８】
一実施形態によれば、ジェスチャ認識部２２は、仮想客体制御装置１０２がポインティングする特定地点を指定するか、ポインティングする領域を指定する時、仮想客体１０３を選択する動作として認識することができる。また、ジェスチャ認識部２２は、仮想客体１０３に対して仮想客体制御装置１０２のポインティング個数と動き対象及び動き形態とによって、ユーザのジェスチャを移動、回転または伸縮動作として認識することができる。
【００７９】
ポインティング連携部２４は、ジェスチャ認識部２２を通じて認識されたジェスチャによって、仮想客体制御装置１０２がポインティングするポインティング位置及び画面に表示される仮想客体１０３を連携させる。
【００８０】
一方、イベント実行部２６は、ポインティング連携部２４を通じて連携された仮想客体に対してイベントを実行する。すなわち、ジェスチャ認識部２２を通じて認識されたジェスチャによって、仮想客体制御装置１０２のポインティング位置と対応するジェスチャ認識装置の対象体に対してイベントを実行する。例えば、対象体に対して選択、移動、回転または伸縮動作を行うことができる。したがって、遠距離でも、まるでユーザがタッチ方式を通じて対象体を直接操作するような感じを与えることができる。
【００８１】
本発明の実施形態は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現しうる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取れるデータが保存されるあらゆる種類の記録装置を含む。
【００８２】
コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、また、キャリアウェーブ（例えば、インターネットを通じる伝送）の形態で具現するものを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードとして保存されて実行可能である。そして、本発明を具現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論されうる。
【００８３】
以上、本発明の実施のための具体例を説明した。前述した実施形態は、本発明を例示的に説明するためのものであって、本発明の権利範囲が特定の実施形態に限定されるものではない。
【産業上の利用可能性】
【００８４】
本発明は、マルチテレポインタ、仮想客体表示装置、及び仮想客体制御方法関連の技術分野に適用可能である。
【図１】
0005784003.tif 000002
【図２Ａ】
0005784003.tif 000003
【図２Ｂ】
0005784003.tif 000004
【図３】
0005784003.tif 000005
【図４Ａ】
0005784003.tif 000006
【図４Ｂ】
0005784003.tif 000007
【図５】
0005784003.tif 000008
【図６】
0005784003.tif 000009
【図７Ａ】
0005784003.tif 000010
【図７Ｂ】
0005784003.tif 000011
【図７Ｃ】
0005784003.tif 000012
【図７Ｄ】
0005784003.tif 000013
【図８】
0005784003.tif 000014
【図９】
0005784003.tif 000015
【図１０】
0005784003.tif 000016
【図１１Ａ】
0005784003.tif 000017
【図１１Ｂ】
0005784003.tif 000018
【図１１Ｃ】
0005784003.tif 000019
【図１２Ａ】
0005784003.tif 000020
【図１２Ｂ】
0005784003.tif 000021
【図１２Ｃ】
0005784003.tif 000022
【図１２Ｄ】
0005784003.tif 000023
【図１３】
0005784003.tif 000024