(57)【要約】  本発明は、手の動作によるネットワーク上の機器及び情報制御システムに係り、より詳しくは、ユーザによって制御機器または制御するファイルなどが選択され、ディスプレイ装置がポイントされることで、情報及びデータを共有できるのみならず、多様な装置間の結合及び制御を容易に行うことができる手の動作によるネットワーク上の機器及び情報制御システムに関する。手の動作によるネットワーク上の機器及び情報制御システムでは、ユビキタスコンピュータ環境下で、多様な入力装置及びディスプレイ装置とユーザの相互作用を著しく向上させることができるという効果がある。【選択図】  図２
2011528455.tif 000002
【特許請求の範囲】
【請求項１】
データの入力またはファイルの選択を検知する制御機器と、
前記制御機器からのデータを解析し、ディスプレイする被制御機器、及び
ユーザによって所定の制御機器が選択され、ユーザの手の動作によって所定の被制御機器がポイントされると、前記被制御機器をポイントする手の動作を分析し、前記選択された制御機器と前記ポイントされた被制御機器とをネットワーク結合させる管理サーバーと、を含むことを特徴とする手の動作によるネットワーク上の機器及び情報制御システム。
【請求項２】
前記管理サーバーは、
前記制御機器のインターネットプロトコルアドレス及びポート番号に基づいてネットワーク結合を調節する結合管理モジュール、及び
ユーザの手の動作を撮影したビジョン情報を分析し、ユーザの手の動作を解析する動作認知モジュールを含むことを特徴とする請求項１に記載の手の動作によるネットワーク上の機器及び情報制御システム。
【請求項３】
ユーザの手の動作を撮影し、手または指先を検知及び追跡するアルゴリズムに基づいてフィルタリングされた映像を前記管理サーバーに提供するカメラをさらに含むことを特徴とする請求項１に記載の手の動作によるネットワーク上の機器及び情報制御システム。
【請求項４】
前記被制御機器を撮影し、被制御機器の位置を追跡する映像を前記管理サーバーに提供するカメラをさらに含むことを特徴とする請求項１に記載の手の動作によるネットワーク上の機器及び情報制御システム。
【請求項５】
前記カメラは、ＵＳＢ  ｗｅｂカメラまたはネットワークカメラであることを特徴とする請求項３または４に記載の手の動作によるネットワーク上の機器及び情報制御システム。
【請求項６】
前記制御機器は、テーブルトップディスプレイ上の仮想のキーボードまたはマウスであり、
ユーザは、仮想結合のためのアイコンを前記テーブルトップディスプレイ上に生成し、前記アイコンを仮想のキーボードまたはマウス上に付着させた後、前記被制御機器を手の動作にてポイントして接続させることを特徴とする請求項１に記載の手の動作によるネットワーク上の機器及び情報制御システム。
【請求項７】
前記管理サーバーは、少なくとも二つの手の動作を認知することで、少なくとも一つの制御機器と少なくとも一つの被制御機器間をネットワーク結合することを特徴とする請求項１に記載の手の動作によるネットワーク上の機器及び情報制御システム。
【請求項８】
少なくとも一つの制御機器でデータの入力またはファイルの選択を検知するステップと、
少なくとも一つの被制御機器がユーザの手の動作によってポイントされるステップと、
前記被制御機器をポイントする手の動作を分析し、ポイントされた被制御機器を認識するステップと、
前記認識された被制御機器と前記制御機器とをネットワーク結合するステップと、を含むことを特徴とする手の動作による機器ネットワーク方法。
【請求項９】
前記ポイントされた被制御機器を認識するステップは、
ユーザの手の動作を撮影した映像から所定のビジョン情報を分析して獲得した手の動作方向情報と、予め格納された被制御機器の位置情報とに基づいて、ポイントされた被制御機器を認識することを特徴とする請求項８に記載の手の動作による機器ネットワーク方法。
【請求項１０】
前記ポイントされた被制御機器を認識するステップは、
ユーザの手の動作を撮影した映像から所定のビジョン情報を分析して獲得した手の動作方向情報と、被制御機器を撮影した映像から獲得した被制御機器位置情報とに基づいて、ポイントされた被制御機器を認識することを特徴とする請求項８に記載の手の動作による機器ネットワーク方法。
【請求項１１】
前記認識された被制御機器と前記制御機器とをネットワーク結合するステップは、
前記制御機器のネットワーク識別アドレスと前記被制御機器のネットワーク識別アドレスとを用いてネットワーク結合することを特徴とする請求項８に記載の手の動作による機器ネットワーク方法。
【請求項１２】
前記結合されたネットワークを用いて、前記制御機器で前記被制御機器を制御するステップをさらに含むことを特徴とする請求項８に記載の手の動作による機器ネットワーク方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手の動作によるネットワーク上の機器及び情報制御システムに係り、より詳しくは、ユーザによって制御機器または制御するファイルなどが選択され、ディスプレイ装置がポイントされることで、情報及びデータを共有できるのみならず、多様な装置間の結合及び制御を容易に行うことができる手の動作によるネットワーク上の機器及び情報制御システムに関する。
【背景技術】
【０００２】
初期のユーザインターフェースは、コンピューターと相互作用をするためにテキスト基盤のインターフェースとして設計された。このため、一般のユーザは一々キーボードにて命令語を入力せざるを得ず、以降、マウスのような入力メカニズムの導入に伴い、ユーザインターフェースはアイコン基盤のメニューに発展した。
【０００３】
近年、コンピューター環境の発達に伴ってユーザの要求が複雑化するにつれ、多様な装置間のインターフェースが可能な技術が開発されつつある。ユビキタス環境下で、一般に特定の入力装置を他の入力装置と接続するためには、例えば、ＰＣをプロジエクターに接続したり、他の機器に接続したりするためには、キーボードまたはマウスを分離したり、データの共有のためにＵＳＢ格納媒体を挿脱したりするという煩わしい設定過程が必要となる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、上記のような従来技術の問題点を解決するために、ユビキタスコンピュータ環境下で、多様な入力装置及びディスプレイ装置とユーザの相互作用を向上させることのできる手の動作によるネットワーク上の機器及び情報制御システムを提供することである。
【課題を解決するための手段】
【０００５】
本発明の一実施形態による手の動作によるネットワーク上の機器及び情報制御システムは、データの入力またはファイルの選択を検知する制御機器と、上記制御機器からのデータを解析し、ディスプレイする被制御機器、及びユーザによって所定の制御機器が選択され、ユーザの手の動作によって所定の被制御機器がポイントされると、上記被制御機器をポイントする手の動作を分析し、上記選択された制御機器と上記ポイントされた被制御機器とをネットワーク結合させる管理サーバーと、を含んでなる。
【０００６】
上記管理サーバーは、上記制御機器のインターネットプロトコルアドレス及びポート番号に基づいてネットワーク結合を調節する結合管理モジュール、及びユーザの手の動作を撮影したビジョン情報を分析し、ユーザの手の動作を解析する動作認知モジュールを含むことができる。
【０００７】
また、ユーザの手の動作を撮影し、手または指先を検知及び追跡するアルゴリズムに基づいてフィルタリングされた映像を上記管理サーバーに提供するカメラをさらに含むことができる。
【０００８】
また、上記被制御機器を撮影し、被制御機器の位置を追跡する映像を上記管理サーバーに提供するカメラをさらに含むことができる。
【０００９】
このとき、上記カメラは、ＵＳＢ  ｗｅｂカメラまたはネットワークカメラであることを特徴とする。
【００１０】
上記制御機器は、テーブルトップディスプレイ上の仮想のキーボードまたはマウスであり、ユーザは、仮想結合のためのアイコンを上記テーブルトップディスプレイ上に生成し、上記アイコンを仮想のキーボードまたはマウス上に付着させた後、上記被制御機器を手の動作にてポイントして接続させることを特徴とする。
【００１１】
上記管理サーバーは、少なくとも二つの手の動作を認知することで、少なくとも一つの制御機器と少なくとも一つの被制御機器間をネットワーク結合することを特徴とする。
【００１２】
上記目的を達成するための本発明の他の実施形態による手の動作による機器ネットワーク方法は、少なくとも一つの制御機器でデータの入力またはファイルの選択を検知するステップと、少なくとも一つの被制御機器がユーザの手の動作によってポイントされるステップと、上記被制御機器をポイントする手の動作を分析し、ポイントされた被制御機器を認識するステップ、及び上記認識された被制御機器と上記制御機器とをネットワーク結合するステップと、を含む。
【００１３】
上記ポイントされた被制御機器を認識するステップは、ユーザの手の動作を撮影した映像から所定のビジョン情報を分析して獲得した手の動作方向情報と、予め格納された被制御機器の位置情報とに基づいて、ポイントされた被制御機器を認識することができる。
【００１４】
上記ポイントされた被制御機器を認識するステップは、ユーザの手の動作を撮影した映像から所定のビジョン情報を分析して獲得した手の動作方向情報と、被制御機器を撮影した映像から獲得した被制御機器位置情報とに基づいて、ポイントされた被制御機器を認識することができる。
【００１５】
上記認識された被制御機器と上記制御機器とをネットワーク結合するステップは、上記制御機器のネットワーク識別アドレスと上記被制御機器のネットワーク識別アドレスとを用いてネットワーク結合することを特徴とする。
【００１６】
上記結合されたネットワークを用いて、上記制御機器で上記被制御機器を制御するステップをさらに含むことができる。
【発明の効果】
【００１７】
本発明に係る手の動作によるネットワーク上の機器及び情報制御システムでは、ユビキタスコンピュータ環境下で、多様な入力装置及びディスプレイ装置とユーザの相互作用を著しく向上させることができるという効果がある。
【００１８】
また、本発明に係る手の動作によるネットワーク上の機器及び情報制御システムでは、手にてファイルを選択し、特定の地点をポイントすることにより、既存のＭＳオフィス、ウェブブラウザー、及びマルチ−メディアプログラムのようなアプリケーションにおいて遠隔情報制御が可能になるという効果がある。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態による手の動作によるネットワーク上の機器及び情報制御システムを示す図である。
【図２】本発明の一実施形態による手の動作によるネットワーク上の機器及び情報制御システムを示す図である。
【図３】図２中のネットワークシステムの構成を示すブロック図である。
【図４】ユーザの指先を検知する映像を示す図である。
【図５】ユーザがファイルを選択し、ウォールスクリーンをポイントすることにより、テーブルトップディスプレイ上のファイルをウォールスクリーンに転送する過程を説明するための図である。
【図６】ユーザがファイルを選択し、ウォールスクリーンをポイントすることにより、テーブルトップディスプレイ上のファイルをウォールスクリーンに転送する過程を説明するための図である。
【図７】テーブルトップディスプレイ上の仮想のキーボードと被制御機器の結合を説明するための図である。
【図８】テーブルトップディスプレイ上の仮想のキーボードと被制御機器の結合を説明するための図である。
【図９】本発明に係る手の動作による機器ネットワーク方法の実施形態を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、添付した図面を参照して本発明の好適な実施形態に係る手の動作によるネットワーク上の機器及び情報制御システムについて詳細に説明する。なお、本発明が後述する実施形態によって限定されるものではない。
【００２１】
図１は、本発明の一実施形態に係る手の動作によるネットワーク上の機器及び情報制御システムを示す図である。本発明の手の動作によるネットワーク上の機器及び情報制御システムは、簡単な手の動作に基づき、ネットワークを介して多様な装置、例えば、ウォールスクリーン(ｗａｌｌ ｓｃｒｅｅｎ)、移動通信端末機、テーブルトップ、ラップトップなどの仮想結合を可能にする。
【００２２】
本発明は、直接的な相互作用方式を用い、ユーザが簡単な手の動作だけでファイルを共有したり、装置間の結合を設定または変更したりすることができる。例えば、一人のユーザがテーブルトップディスプレイ上の文書ファイルをウォールスクリーンに転送し、ウォールスクリーン上へのディスプレイを希望する場合、文書ファイルをテーブルトップディスプレイ上で選択した後、ウォールスクリーンをポイントすることで、文書ファイルをウォールスクリーン上に転送することができる。また、手の動作によりウォールスクリーンとラップトップ間でのネットワーク結合を設定し、結合の完了後、ユーザは両装置が物理的に結合したかのようにラップトップによるファイルの制御が可能になる。すなわち、ラップトップの信号入力装置にてウォールスクリーンの出力を制御することができる。
【００２３】
ネットワーク結合は装置の類型とは関係ない。一般に、ラップトップやＰＤＡ、移動通信端末機などの個人的装置は、大型ディスプレイや電子ボードのような共有された装置と結合する。本発明のネットワークシステムは、多重結合を支援する。例えば、三つのキーボードと一つのディスプレイとを結合して制御することもできる。また、本発明のネットワークシステムは、それぞれの装置の結合状態を示すためにオーディオフィードバックなどを提供することができる。
【００２４】
図２は、本発明の一実施形態に係る手の動作によるネットワーク上の機器及び情報制御システムを示す図であり、図３は、図２中のネットワークシステムの構成を示すブロック図である。
【００２５】
図２及び図３を参照すると、本発明のネットワークシステム１００は、管理サーバー２００、制御機器３００、及び被制御機器４００とから構成される。全てのネットワークはデータを転送する間、ブロッキング（ｂｌｏｃｋｉｎｇ）を最小化するために非同期通信（ａｓｙｎｃｈｒｏｎｏｕｓ ｃｏｍｍｕｎｉｃａｔｉｏｎ）を基盤とする。
【００２６】
管理サーバー２００は、ユーザが特定の制御機器を選択する手の動作及び被制御機器をポイントする手の動作を解析し、制御機器３００と被制御機器４００とをネットワーク結合させることができる。管理サーバー２００は、結合管理モジュール２２０及び動作認知モジュール２４０を含むことができる。
【００２７】
結合管理モジュール２２０は、各装置のインターネットプロトコルアドレス、ポート番号またはＩＤナンバーなどのネットワーク情報に基づいて多重装置間のネットワーク結合を調節する。動作認知モジュール２４０は、カメラ（図示せず）からのビジョン情報を分析し、ユーザの手の動作を解析する。上記ビジョン情報は、ユーザの手の動作を撮影した映像から抽出されたデータのことを意味する。
【００２８】
制御機器３００は、ユーザの入力イベント、例えば、キーボードまたはマウスによるデータの入力またはファイルの選択を検知し、それらのデータを管理サーバー２００の情報によって選択された装置に転送する。
【００２９】
制御機器３００は、例えば、テーブルトップ、ラップトップ、ＰＤＡ、または移動通信端末機などから構成されていてよいが、これらに制限されるものではない。
【００３０】
被制御機器４００は、制御機器からのデータを解析してディスプレイし、イベント発生モジュール４２０及び実行モジュール４４０を含むことができる。被制御機器４００は、例えば、ウォールスクリーン、ＬＣＤ、またはＰＤＰなどのディスプレイ装置であればよいが、これらに制限されるものではない。
【００３１】
イベント発生モジュール４２０は、制御機器３００からのデータを解析し、キーボードまたはマウスイベントなどのような信号入力イベントを発生させる。ここで、イベントとは、ユーザが制御機器３００を操作した際に、コンピューターのような情報処理装置に送られる信号のことを意味する。
【００３２】
実行モジュール４４０は、制御機器３００からのファイルを実行させる。
【００３３】
また、被制御機器４００は、制御機器３００の多重結合を支援する。
【００３４】
手の動作の認知は、本発明のネットワークシステム１００を行う上で基本的な構成であって、ユーザは手に何ら装置を取り付けていない素手を入力装置として使用することができる。
【００３５】
カメラ（図示せず）、例えば、ＵＳＢ  ｗｅｂカメラまたはネットワークカメラなどのようなカメラは、ユーザの手の動作を撮影し、手または指先を検知及び追跡するアルゴリズムに基づいて、フィルタリングされた映像を管理サーバー２００へ提供する。
【００３６】
手または指先を検知するのに適合した背景除去及びスキン領域の抽出技術を用い、また、このために多様な幾何学的形状フィルタなどを導入することもできる。図４は、ユーザの指先を検知する映像を示す図である。
【００３７】
被制御機器は、大概は初期位置が固定されるため、上記映像のイメージ上から手または指の向きを分析してユーザの指示する機器を認知することができる。即ち、手または指の向きを分析して方向情報を獲得し、これに基づき、予め格納された被制御機器の位置情報を分析して、ポイントされた被制御機器を認識する。また、被制御機器の位置が移動すると、移動後の位置を再格納できることは言うまでもない。
【００３８】
また、被制御機器などが動く場合のために、全ての機器の位置をトラッキングするためのカメラをさらに設置することもでき、現在状態の機器の位置を分析して、上述したようにユーザの手または指が指示する方向情報とともに分析することで、ポイントされた被制御機器を認識することができる。
【００３９】
追跡アルゴリズムによって複雑な背景や動的に変化する光条件下でも多重の手または指先の強力な検知及び追跡が可能になり、ユーザが手または指先で示す装置をリアルタイムで容易に区別することができる。また、ユーザの手または指先は、無線のプレゼンテーションまたはプレゼンテーションを提供する公衆マウスとしても使用できる。
【００４０】
本発明の手の動作によるネットワーク上の機器及び情報制御システムの実例として、チームミーティングやセミナープレゼンテーションのようなコーワークを効率よく行うために主にタッチ−反応テーブルトップディスプレイ及び周辺ウォールスクリーンから構成される空間を仮定する。
【００４１】
パン・チルト・ズーム（ｐａｎ−ｔｉｌｔ−ｚｏｏｍ）ＩＰカメラがユーザの手の動作を認識するためにミーティングルームの天井の中央に設置される。
【００４２】
この空間で作業しながら、ユーザらは、しばしば別の位置、即ち、参席者らの個人装置またはテーブルトップディスプレイに格納されているファイルをウォールスクリーンに共有する必要性を感じる。従来の場合、上記データを他のコンピューターに転送するためには、大概はＵＳＢ格納媒体、ＦＴＰまたはインターネットを使用し、また、ウォールスクリーン上の情報を制御するためには、ウォールスクリーンのコンピューターに接続されているキーボードまたはマウスを使用する必要があった。
【００４３】
しかしながら、本発明のネットワークシステムを使用すれば、図５及び図６に示すように、ユーザは、単に制御機器及び実行したいファイルまたはアプリケーションなどを選択し、ウォールスクリーンをポイントするだけによって、テーブルトップディスプレイ上のファイルをウォールスクリーンに転送してウォールスクリーン上で実行させることができる。この動作により、テーブルトップディスプレイ及びウォールスクリーンとは、ネットワークを介して無線または有線で接続され、上記ファイルは、選択されたウォールスクリーンのコンピューターに転送され実行される。
【００４４】
このとき、制御機器及び実行したいファイルは、実行したいファイルを選択することで一度に選択することもできる。このとき、実行したいファイルの選択は、タッチスクリーン上で手でタッチして選択することもでき、キーボードまたはマウスなどの信号入力装置にて選択信号を入力して選択することもできる。
【００４５】
図７及び図８は、テーブルトップディスプレイ上の仮想のキーボードと被制御機器の結合を説明するための図である。
【００４６】
図７及び図８を参照すると、テーブルトップディスプレイ上の仮想のキーボード及びマウスは、ウォールスクリーンの指示されたコンピューターに接続でき、ユーザは、先ず、新たな仮想結合のための準備を意味するＴ形状のアイコンをテーブルトップディスプレイ上に生成する。ここで、アイコンの形状は、Ｔ形状に制限されるものではないことは言うまでもない。
【００４７】
次いで、使用したい仮想のキーボード及びマウスにて上記アイコンを付着させた後、ユーザはウォールスクリーンの一つを指にてポイントする。
【００４８】
次いで、結合の成功を知らせるサウンドフィードバックとともに、ユーザはまるでテーブルトップディスプレイ上のキーボードまたはマウスがウォールスクリーンのコンピューターに物理的に接続したかのようにウォールスクリーンの内容を制御することができるようになる。
【００４９】
分離は、仮想のキーボード及びマウスを除去することにより容易に行うことができる。上記過程は、図６ｂに示すように結合状態を視覚的に確認することができ、テーブルトップディスプレイ上の多くのキーボード及びマウスとウォールスクリーン間の結合状態を指示する視覚的なフィードバックを提供することができる。
【００５０】
図９は、本発明に係る手の動作による機器ネットワーク方法の実施形態を示すフローチャートである。
【００５１】
図９を参照すると、本発明に係る手の動作による機器ネットワーク方法は、少なくとも一つの制御機器でデータの入力またはファイルの選択を検知するステップ(Ｓ７１)、少なくとも一つの被制御機器がユーザの手の動作によってポイントされるステップ(Ｓ７２)、上記被制御機器をポイントする手の動作を分析し、ポイントされた被制御機器を認識するステップ(Ｓ７３)、上記認識された被制御機器と上記制御機器とをネットワーク結合するステップ(Ｓ７４)を含む。
【００５２】
また、上記結合されたネットワークを用いて、上記制御機器で上記被制御機器を制御するステップをさらに含むこともできる。即ち、上記制御機器上の入力などにより、被制御機器でのディスプレイ及び実行を制御することができる。例えば、上記制御機器のファイルを選択し、上記被制御機器をポイントすることで、上記制御機器と上記被制御機器とのネットワークが形成されると、上記選択されたファイルを上記被制御機器でディスプレイすることができる。以降、上記制御機器上で拡大または縮小などのディスプレイの制御、データの修正などのデータ入力制御などができる。
【００５３】
ユーザの手の動作を撮影した映像から所定のビジョン情報を分析して獲得した手の動作方向情報と、予め格納された被制御機器の位置情報に基づいて、ポイントされた被制御機器を認識することができる。即ち、被制御機器の位置を格納しておき、該格納された位置情報と手の動作のポイント方向情報とを用いて被制御機器を認識することができる。
【００５４】
また、ユーザの手の動作を撮影した映像から所定のビジョン情報を分析して獲得した手の動作方向情報と、被制御機器を撮影した映像から獲得した被制御機器位置情報とに基づいて、ポイントされた被制御機器を認識することもできる。即ち、被制御機器の位置が流動的な場合、カメラにて被制御機器を撮影して位置情報を獲得し、該獲得された位置情報と手の動作のポイント方向情報とを用いて被制御機器を認識することができる。
【００５５】
上記認識された被制御機器と上記制御機器とをネットワーク結合する際、制御機器のネットワーク識別アドレスと上記被制御機器のネットワーク識別アドレスとを用いてネットワーク結合することができる。このとき、ネットワーク識別アドレスの例示としては、インターネットプロトコルアドレス及びポート番号などがある。
【００５６】
また、手の動作によるネットワーク上の機器及び情報制御システムに係る実施形態を説明する明細書の内容は、手の動作による機器ネットワークに係る実施形態でも同様に適用できるであろう。
【産業上の利用可能性】
【００５７】
上述したように、本発明に係る手の動作によるネットワーク上の機器及び情報制御システムでは、ユビキタスコンピュータ環境下で多様な入力装置及びディスプレイ装置とユーザの相互作用を著しく向上させることができるという効果がある。
【００５８】
また、本発明に係る手の動作によるネットワーク上の機器及び情報制御システムでは、手にてファイルを選択し、特定の地点をポイントすることにより、既存のＭＳオフィス、ウェブブラウザー、及びマルチ−メディアプログラムのようなアプリケーションにおいて遠隔情報制御が可能になるという効果がある。
【図１】
2011528455.tif 000003
【図２】
2011528455.tif 000004
【図３】
2011528455.tif 000005
【図４】
2011528455.tif 000006
【図５】
2011528455.tif 000007
【図６】
2011528455.tif 000008
【図７】
2011528455.tif 000009
【図８】
2011528455.tif 000010
【図９】
2011528455.tif 000011
【国際調査報告】
2011528455.tif 000012
2011528455.tif 000013