(57)【要約】本発明の一実施例は、このような２次元ポインティング技術を３次元上でも可能にして、直観的な３次元ユーザーインタフェースを提供することができる。具体的に、本発明の一実施例は、ユーザーの目、指、画面上の動作ポイントが一直線上に配列されるようにする動作ポイントを具現することにより、直観的なユーザーインタフェースを提供する。【選択図】図１
2017531227.tif 000002
【特許請求の範囲】
【請求項１】
直観的インタフェース提供装置を介して実行される、ユーザーの視点を考慮して動作認識するインタフェース提供方法であって、
（Ａ）ユーザーの目の３次元位置情報、ユーザーの手の３次元位置情報及び映像表示装置の画面の頂点の３次元位置情報を収集するステップと、
（Ｂ）前記手の３次元位置情報を前記目と画面との間の予め設定された体積の正規空間内にマッピングするステップと、
（Ｃ）前記正規空間内にマッピングされた手の３次元位置情報を前記映像表示装置の画面に投影し、前記画面内の仮想空間の位置情報に変換するステップと、
（Ｄ）前記画面内の仮想空間の位置情報を前記画面に提供されたユーザーインタフェースの操作のための動作ポイントの位置に決定するステップと、を含む、ユーザーの視点を考慮して動作認識するインタフェース提供方法。
【請求項２】
前記（Ａ）ステップは、
（Ａ−１）前記ユーザーが前記画面の頂点を指す初期設定動作に対する前記ユーザーの目の３次元位置情報及び手の３次元位置情報を収集し、前記映像表示装置の画面の頂点の３次元位置情報を計算するステップと、
（Ａ−２）前記映像表示装置の画面を介してユーザーインタフェースを提供し、前記ユーザーインタフェースを動作させるための前記ユーザーの目の３次元位置情報及び手の３次元位置情報を収集するステップと、を含む、請求項1に記載のユーザーの視点を考慮して動作認識するインタフェース提供方法。
【請求項３】
前記（Ａ−１）ステップは、
（ａ）前記映像表示装置から離れた前記ユーザーが前記画面を構成する複数の頂点のそれぞれを手で指す初期設定動作に対し、前記各頂点に対する前記ユーザーの目の３次元位置情報と手の３次元位置情報とを収集するステップと、
（ｂ）前記各頂点に対し、収集された前記ユーザーの目と手の３次元位置情報を通過する直線と頂点との間の距離を測定する第１の因子が最小値を有するようにする頂点の３次元座標を求めることにより、前記複数の頂点の３次元位置情報を獲得するステップと、を含む、請求項２に記載のユーザーの視点を考慮して動作認識するインタフェース提供方法。
【請求項４】
前記（ｂ）ステップは、
前記複数の頂点を連結して形成された多角形が矩形になるか否かを判断するための第２の因子を更に考慮して、前記複数複数の頂点の３次元位置情報を獲得する、請求項３に記載のユーザーの視点を考慮して動作認識するインタフェース提供方法。
【請求項５】
前記第２の因子は、前記複数の頂点のうち、隣合う２つの頂点を連結するベクトルなどの間の内積の大きさに対する数式であり、
前記（ｂ）ステップは、  
前記第１の因子と第２の因子とが最小値を有するようにする前記複数の頂点の３次元座標を求めて、前記複数の頂点の３次元位置情報を獲得する、請求項４に記載のユーザーの視点を考慮して動作認識するインタフェース提供方法。
【請求項６】
前記（ｂ）ステップは、
前記第２の因子に予め設定された加重値を掛けて、前記第２の因子及び前記加重値の積と、前記第１の因子との和が最小値を有するようにする前記複数の頂点の３次元位置情報を獲得する、請求項５に記載のユーザーの視点を考慮して動作認識するインタフェース提供方法。
【請求項７】
前記（Ｂ）ステップは、
収集された前記目の３次元位置情報及び前記映像表示装置の画面に対する複数の頂点からなったビューフラスタム（ｖｉｅｗ  ｆｒｕｓｔｕｍ）を生成するステップと、
前記ビューフラスタム内に位置した収集された前記手の３次元位置情報に遠近投影技法を役に適用し、収集された前記手の３次元位置情報を正六面体の前記正規空間内にマッピングするステップと、を含む、請求項１に記載のユーザーの視点を考慮して動作認識するインタフェース提供方法。
【請求項８】
前記（Ｃ）ステップは、
前記映像表示装置の画面に表示されたユーザーインタフェースを眺める仮想カメラの位置情報、ベクトル情報及び前記正規空間を前記画面の仮想空間に遠近投影するための視野角を遠近投影行列に適用し、前記正規空間内の手の３次元位置情報を前記画面内の仮想空間の位置情報に変換する、請求項１に記載のユーザーの視点を考慮して動作認識するインタフェース提供方法。
【請求項９】
請求項１乃至請求項８のいずれか一項によるユーザーの視点を考慮して動作認識するインタフェース提供方法を実行するために、コンピュータ読み取り可能な記録媒体に格納されたコンピュータプログラム。
【請求項１０】
請求項１乃至請求項８のいずれか一項によるユーザーの視点を考慮して動作認識するインタフェース提供方法を実行するためのコンピュータプログラムコードが格納されたコンピュータ読み取り可能な記録媒体。
【請求項１１】
ユーザーの目の３次元位置情報、ユーザーの手の３次元位置情報及び映像表示装置の画面の頂点の３次元位置情報を収集する位置情報収集部と、
前記手の３次元位置情報を前記目と画面との間の予め設定された体積の正規空間内にマッピングするマッピング部と、
前記正規空間内にマッピングされた手の３次元位置情報を前記映像表示装置の画面に投影し、前記画面内の仮想空間の位置情報に変換する画面位置情報生成部と、
前記画面内の仮想空間の位置情報を前記画面に提供されたユーザーインタフェースの操作のための動作ポイントの位置に決定するユーザーインタフェース操作部と、を含む、ユーザーの視点を考慮して動作認識するインタフェース提供装置。
【請求項１２】
前記位置情報収集部は、
前記ユーザーが前記画面の頂点を指す初期設定動作に対する前記ユーザーの目の３次元位置情報及び手の３次元位置情報を収集し、前記映像表示装置の画面の頂点の３次元位置情報を計算する画面頂点位置情報獲得部と、  
前記映像表示装置の画面を介してユーザーインタフェースを提供し、前記ユーザーインタフェースを動作させるための前記ユーザーの目の３次元位置情報及び手の３次元位置情報を収集するユーザー身体位置情報収集部と、を含む、請求項１１に記載のユーザーの視点を考慮して動作認識するインタフェース提供装置。
【請求項１３】
前記画面頂点位置情報獲得部は、
前記映像表示装置から離れた前記ユーザーが前記画面を構成する複数の頂点のそれぞれを手で指す初期設定動作に対し、前記各頂点に対する前記ユーザーの目の３次元位置情報と手の３次元位置情報とを収集し、
前記各頂点に対し、収集された前記ユーザーの目と手の３次元位置情報を通過する直線と頂点との間の距離を測定する第１の因子が最小値を有するようにする頂点の３次元座標を求めることにより、前記複数の頂点の３次元位置情報を獲得する、請求項１２に記載のユーザーの視点を考慮して動作認識するインタフェース提供装置。
【請求項１４】
前記画面頂点位置情報獲得部は、
前記複数の頂点を連結して形成された多角形が矩形になるか否かを判断するための第２の因子を更に考慮し、前記複数の頂点の３次元位置情報を獲得する、請求項１３に記載のユーザーの視点を考慮して動作認識するインタフェース提供装置。
【請求項１５】
前記第２の因子は、前記複数の頂点のうち、隣合う２つの頂点を連結するベクトルなどの間の内積の大きさに対する数式であり、
前記画面頂点位置情報獲得部は、前記第１の因子及び第２の因子が最小値を有するようにする前記複数の頂点の３次元座標を求めて、前記複数の頂点の３次元位置情報を獲得する、請求項１４に記載のユーザーの視点を考慮して動作認識するインタフェース提供装置。
【請求項１６】
前記画面頂点位置情報獲得部は、  
前記第２の因子に予め設定された加重値を掛けて、前記第２の因子と前記加重値との積と前記第１の因子との和が最小値を有するようにする前記複数の頂点の３次元位置情報を獲得する、請求項１５に記載のユーザーの視点を考慮して動作認識するインタフェース提供装置。
【請求項１７】
前記マッピング部は、
収集された前記目の３次元位置情報及び前記映像表示装置の画面に対する複数の頂点からなったビューフラスタム（ｖｉｅｗ  ｆｒｕｓｔｕｍ）を生成し、
前記ビューフラスタム内に位置した収集された前記手の３次元位置情報に遠近投影技法を役に適用し、収集された前記手の３次元位置情報を正六面体の前記正規空間内にマッピングする、請求項１１に記載のユーザーの視点を考慮して動作認識するインタフェース提供装置。
【請求項１８】
前記画面位置情報生成部は、  
前記映像表示装置の画面に表示されたユーザーインタフェースを眺める仮想カメラの位置情報、ベクトル情報及び前記正規空間を前記画面の仮想空間に遠近投影するための視野角を遠近投影行列に適用し、前記正規空間内の手の３次元位置情報を前記画面内の仮想空間の位置情報に変換する、請求項１１に記載のユーザーの視点を考慮して動作認識するインタフェース提供装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザーの視点を考慮して動作認識するインタフェース提供方法及び提供装置に関し、より詳細には、ユーザーの視点とユーザーインタフェースとが表示される画面上の動作地点を一致させて直観的なユーザーインタフェースを提供するための、インタフェース提供方法及び提供装置、方法及び装置に関する。
【背景技術】
【０００２】
ＮＵＩは、Ｎａｔｕｒａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅの略語であって、テキスト入力を介する命令体系を意味するＴＵＩ（Ｔｅｘｔ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）や画面中のイメージをタッチパッドとマウスを介してコンピュータに命令するＧＵＩ（Ｇｒａｐｈｉｃ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）とは異なり、ユーザーの音声やジェスチャーなど人間に、より直観的な方式を介してコンピュータに命令するインタフェースをいう。
【０００３】
ＮＵＩ装置は、上で説明したＮＵＩを実現するために必要な入力装置であって、通常的に、ユーザーの音声を認識するためのマイクと、ユーザーのジェスチャーを認識するためのカラーカメラ（ＲＧＢ  Ｃａｍｅｒａ）及び／またはデプスカメラ（Ｄｅｐｔｈ  Ｃａｍｅｒａ）などから構成され得る。ＮＵＩ装置は、各機器別に仕様は様々であるが、通常的に、ユーザーの身体全体や一部分を撮影し、その３ＤＮＵＩを活用するアプリケーションは、主にユーザーの手や指の３次元位置を認識して、これをマウスのカーソルのように活用する。具体的に、ユーザーが画面の前で手を上下左右に動かして画面のカーソルの位置を動かすことができ、手をより伸ばして画面上に位置したボタンを押して命令を実行する方式で具現される。特許文献１も、このような内容を開示している。
【０００４】
しかし、このような方式などは、次のような問題点を有している。ユーザーが眺めた視点から手の位置と画面上のカーソルの位置が異なるので、ユーザーは、当たり前にも画面上のカーソルを基準としてインタラクションを行うために、画面を眺めるようになり、従ってユーザーは、自分の手を眺めることができない。このため、ユーザーは、画面内のカーソルを動かすために、自分の手を不自然に動かすようになるので、マウスのようなレベルの入力のためには、より長い時間及び努力が必要になる。
【０００５】
一方、前述した背景技術は、発明者が本発明の導出のために保有していたか、本発明の導出過程で習得した技術情報であって、必ず本発明の出願前に一般公衆に公開された公知技術とはいえない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】韓国公開特許第１０−２０１２−００７０１３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の一実施例は、ユーザーの視点から見たとき、ユーザーの手の位置及び画面に表示されたユーザーインタフェースの動作ポイントの位置を一体化することに目的がある。
【課題を解決するための手段】
【０００８】
前述した目的を達成するための技術的手段として、本発明の第１の側面によれば、直観的インタフェース提供装置を介して実行される、ユーザーの視点を考慮して動作認識するインタフェース提供方法であって、（Ａ）ユーザーの目の３次元位置情報、ユーザーの手の３次元位置情報及び映像表示装置の画面の頂点の３次元位置情報を収集するステップと、（Ｂ）前記手の３次元位置情報を前記目と画面との間の予め設定された体積の正規空間内にマッピングするステップと、（Ｃ）前記正規空間内にマッピングされた手の３次元位置情報を前記映像表示装置の画面に投影し、前記画面内の仮想空間の位置情報に変換するステップと、（Ｄ）前記画面内の仮想空間の位置情報を前記画面に提供されたユーザーインタフェースの操作のための動作ポイントの位置に決定するステップと、を含む。
【０００９】
一方、本発明の第２の側面によるユーザーの視点を考慮して動作認識するインタフェース提供装置は、ユーザーの目の３次元位置情報、ユーザーの手の３次元位置情報及び映像表示装置の画面の頂点の３次元位置情報を収集する位置情報収集部と、前記手の３次元位置情報を前記目と画面との間の予め設定された体積の正規空間内にマッピングするマッピング部と、前記正規空間内にマッピングされた手の３次元位置情報を前記映像表示装置の画面に投影し、前記画面内の仮想空間の位置情報に変換する画面位置情報生成部と、前記画面内の仮想空間の位置情報を前記画面に提供されたユーザーインタフェースの操作のための動作ポイントの位置に決定するユーザーインタフェース操作部と、を含む。
【００１０】
一方、本発明の第３の側面によれば、第１の側面のユーザーの視点を考慮して動作認識するインタフェース提供方法を実行するために、コンピュータ読み取り可能な記録媒体に格納されたコンピュータプログラムが提供され得る。
【００１１】
また一方、本発明の第４の側面によれば、第１の側面のユーザーの視点を考慮して動作認識するインタフェース提供方法を実行するためのコンピュータプログラムコードが格納されたコンピュータ読み取り可能な記録媒体が提供され得る。
【発明の効果】
【００１２】
既存の目−指方向を介した直観的ポインティング技術は、２次元上で座標を入力するのにのみ活用することができた（例えば、タッチスクリーン）。３次元上の座標を入力しようとする場合、目と指の方向と画面に表示される動作ポイントが一致しなかったので、直観的なインタフェース具現がなされなかった。しかし、本発明の一実施例は、このような２次元ポインティング技術を３次元上でも可能にして、直観的な３次元ユーザーインタフェースを提供することができる。
【００１３】
また、本発明の一実施例の装置は、ＧＵＩベースのプログラムでマウスを代用するとか、ＴＶ画面でリモコンを代用するとか、プレゼンデーション画面上でレーザーポインタを代用するなど様々な用途に活用され得る。
【００１４】
また、直観的３次元ユーザーインタフェースを利用するために、画面の頂点などを指す初期設定動作を実行した後、画面の頂点などの３次元位置情報を計算するとき、少ない個数の変数を考慮して演算するので、ユーザーが初期設定動作を実行しなければならない時間を短縮することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施例によるユーザーの視点を考慮して動作認識するインタフェース提供システムの構成図である。
【図２】本発明の一実施例によるユーザーの視点を考慮して動作認識するインタフェース提供装置の内部構成を示したブロック図である。
【図３】図２の位置情報収集部の内部構成を示したブロック図である。
【図４】本発明の一実施例によってユーザーの目と指と画面上の動作ポイントがマッピングされることを示すための概念図である。
【図５】ビューフラスタム（ｖｉｅｗ  ｆｒｕｓｔｕｍ）内に形成される正規空間を示すための概念図である。
【図６】本発明の一実施例によってユーザーの目と指と画面上の動作ポイントがマッピングされることを示すための概念図である。
【図７】本発明の一実施例によるユーザーの視点を考慮して動作認識するインタフェース提供方法を説明するフローチャートである。
【図８】図７のＳ１２０ステップを具体的に説明するフローチャートである。
【発明を実施するための形態】
【００１６】
以下では、添付した図面を参照して本発明が属する技術分野で通常の知識を有する者が容易に実施できるように、本発明の実施例を詳細に説明する。しかし、本発明は、様々な異なる形態で具現されることができ、ここで説明する実施例に限定されない。そして、図面において、本発明を明確に説明するために、説明と関係ない部分は省略しており、明細書全体を介して類似した部分に対しては、類似の図面符号を付けた。
【００１７】
明細書の全体において、ある部分が他の部分と“連結”されているというとき、これは“直接的に連結”されている場合だけではなく、その中間に他の要素を間に置いて“電気的に連結”されている場合も含む。また、ある部分がある構成要素を“含む”というとき、これは特に反対される記載がない限り、他の構成要素を除外するのではなく、他の構成要素を更に含むことができることを意味する。
【００１８】
以下、添付された図面を参考して本発明を詳細に説明することにする。図１を参照すると、本発明の一実施例によるシステム１０は、ＮＵＩ装置１００、インタフェース提供装置２００及び映像表示装置３００を含む。
【００１９】
ＮＵＩ装置１００は、イメージセンサー、深さ感知センサー及び音声認識センサーのうち、少なくとも１つを利用してユーザーの動作やポーズまたは音声を認識し、ソフトウェアプログラムやアプリケーションの命令に利用することができる全ての装置を意味する。代表的なＮＵＩ装置１００として、ユーザーの音声やジェスチャーなどを認識するためのマイクとカラーカメラ及びデプスカメラなどを挙げることができる。本発明の一実施例のＮＵＩ装置１００は、デプスカメラ及び／またはカラーカメラのようなユーザーの動作を撮影し、動作認識情報を抽出することができる装置であることが好ましい。
【００２０】
ＮＵＩ装置１００は、ユーザーの身体の全体または一部を撮影することにより、ユーザーの手、指または関節の位置情報、ユーザーの手、指または関節の回転情報及びユーザーの手広げまたは拳握り情報のうち、少なくとも１つを含む認識情報（例えば、深さ値、カラー値）を生成して、インタフェース提供装置２００に有／無線通信手段を介して送信する。
【００２１】
インタフェース提供装置２００は、直観的なユーザーインタフェースを映像表示装置３００を介して提供する。そして、インタフェース提供装置２００は、ＮＵＩ装置１００から受信した認識情報を介してユーザーの動作を分析して動作情報を生成し、生成された動作情報に基づいてユーザーインタフェースを実行して、該当情報を映像表示装置３００に伝達する。つまり、インタフェース提供装置２００は、ユーザーの動作を分析して、ユーザーの動作に符合するユーザーインタフェースの動作結果を有／無線通信手段を介して映像表示装置３００に送信する。
【００２２】
このようなインタフェース提供装置２００は、他の端末及びサーバと連結可能なコンピュータやポータブル端末機、テレビ、ウェアラブルデバイス（Ｗｅａｒａｂｌｅ  Ｄｅｖｉｃｅ）などから具現され得る。ここで、コンピュータは、例えば、ウェブブラウザー（ＷＥＢ  Ｂｒｏｗｓｅｒ）が搭載されたノートブック、デスクトップ（ｄｅｓｋｔｏｐ）、ラップトップ（ｌａｐｔｏｐ）などを含み、ポータブル端末機は、例えば、携帯性及び移動性が保障される無線通信装置であって、スマートフォン（Ｓｍａｒｔ  Ｐｈｏｎｅ）のような全種類のハンドヘルド（Ｈａｎｄｈｅｌｄ）ベースの無線通信装置を含むことができる。ひいては、ウェアラブルデバイスは、例えば、時計、眼鏡、アクセサリー、衣服、靴など人体に直接着用可能なタイプの情報処理装置であって、直接または他の情報処理装置を介してネットワークを経由し、遠隔地のサーバに接続するとか、他の端末と連結され得る。
【００２３】
映像表示装置３００は、インタフェース提供装置２００から受信した実行情報に基づいて相互作用インタフェースを表示する装置であって、コンピュータモニタ、ＴＶ、プロジェクター、グーグルグラスなど映像を表示することができる全種類の器機になり得る。
【００２４】
一方、インタフェース提供装置２００は、映像表示装置３００を含んで構成されることもできる。例えば、インタフェース提供装置２００がノートブック、スマートフォン、タブレットＰＣなどのように表示モジュールを搭載する場合を挙げることができる。
【００２５】
以下、図２及び図３を参照して、本発明の一実施例によるインタフェース提供装置２００の構成に対して具体的に説明する。
【００２６】
インタフェース提供装置２００は、位置情報収集部２１０、マッピング部２２０、画面位置情報生成部２３０及びユーザーインタフェース操作部２４０を含む。
【００２７】
位置情報収集部２１０は、ユーザーの目の３次元位置情報、ユーザーの手（指を含む）の３次元位置情報及び映像表示装置３００の画面の４つの頂点の３次元位置情報を収集する。
【００２８】
このために、図３によって位置情報収集部２１０は、画面頂点位置情報獲得部２１１及びユーザー身体位置情報収集部２１２を含む。直観的なユーザーインタフェースを提供するためには、画面の頂点の３次元位置情報が予め獲得される、あるいは、格納されていなければならない。従って、ユーザーがユーザーインタフェースを操作するための動作を実行する前に、初期設定を実行するようにして画面の４つの頂点の３次元位置情報を獲得するが、画面頂点位置情報獲得部２１１がこのような初期設定を実行するための構成である。そして、ユーザー身体位置情報収集部２１２は、初期設定以後にユーザーインタフェースを操作するために、ユーザーの身体（目と手）の３次元位置情報を収集する構成である。以下、各構成の動作に対して具体的に説明する。
【００２９】
画面頂点位置情報獲得部２１１は、先ず、ユーザーインタフェースを介してユーザーに画面を構成する各頂点を指す初期設定動作を実行することを要請する。続いて、ユーザーは、各頂点を手や指で指す動作を実行する。このとき、ユーザーが１つの頂点に対して映像表示装置３００から離れた１つの位置でのみ前記１つの頂点を指す初期設定動作をすることもできるが、１つの頂点に対して複数の位置で初期設定動作をすることもできる。より正確な頂点の３次元位置情報を獲得するためには、各頂点別に５つ以上の他の位置で初期設定動作が行われることが好ましいが、必ずこれに限らず、他の個数の他の位置で初期設定動作が行われることもできる。
【００３０】
ＮＵＩ装置１００は、ユーザーの各初期設定動作からユーザーの目の３次元位置情報と手（指を含む）の３次元位置情報とを獲得して画面頂点位置情報獲得部２１１に伝達する。例えば、ユーザーが１つの頂点に対して５回場所を変えながら初期設定動作を実行した場合、１つの頂点に対して獲得される（目の３次元位置情報、手の３次元位置情報）ペアは、全部で５つのペアが獲得され得る。
【００３１】
2017531227.tif 000003
【００３２】
2017531227.tif 000004
【００３３】
【数１】
2017531227.tif 000005
【００３４】
2017531227.tif 000006
【００３５】
【数２】
2017531227.tif 000007
【００３６】
【数３】
2017531227.tif 000008
【００３７】
2017531227.tif 000009
【００３８】
2017531227.tif 000010
【００３９】
【数４】
2017531227.tif 000011
【００４０】
2017531227.tif 000012
【００４１】
2017531227.tif 000013
【００４２】
2017531227.tif 000014
【００４３】
また一方、画面頂点位置情報獲得部２１１は、Ｇｒａｄｉｅｎｔ  ｄｅｓｃｅｎｔ（勾配降下）方法やＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｄｔ（レーベンバーグ−マーカート）方法などの反復的非線形最適化方法を更に適用して、より正確な画面の４つの頂点などの３次元位置情報を獲得することもできる。
【００４４】
ユーザー身体位置情報収集部２１２は、初期設定ステップが完了した後、映像表示装置３００を介してユーザーインタフェースを提供し、ユーザーインタフェースを操作するためのユーザーの目及び手の３次元位置情報を収集する。ＮＵＩ装置１００は、ユーザーの動作から目及び手の３次元位置情報を生成し、ユーザー身体位置情報収集部２１２は、ＮＵＩ装置１００から伝達受けて目及び手の３次元位置情報を収集する。
【００４５】
マッピング部２２０は、ユーザーの手が位置した実際空間と画面内の仮想空間とをマッピングするために、手の３次元位置情報を目と画面との間の予め設定された体積の正規空間内にマッピングする。
【００４６】
具体的に、図４のようなピラミッド形態の空間内でユーザーの目と映像表示装置３００の画面との間の実際空間及び映像表示装置３００の画面３１０内に、ユーザーインタフェースの３次元客体Ｏが表現された仮想空間が定義され得る。このとき、実際空間を構成するピラミッドの一部分を取り外す場合、図５のような切頭体状のビューフラスタム（ｖｉｅｗ  ｆｒｕｓｔｕｍ：ｖｆ）を仮定することができる。そして、マッピング部２２０は、指の３次元位置情報（ｘ、ｙ、ｚ）を角の長さが同一の正六面体からなった正規空間（Ｃａｎｏｎｉｃａｌ  ｆｏｒｍ）内の点にマッピングする。好ましくは、正規空間は、ｘ、ｙ、ｚ軸のいずれも−１と１との間の値のみを有することができる正六面体から構成され得る。例えば、指の３次元位置情報（ｘ、ｙ、ｚ）は、正規空間上で、（−０．５、０．７、−０．８）のような座標情報を有するようになる。図５では、１つの指の地点に対する３次元位置情報のみを示したが、ユーザーが指で連続的な動作を実行する場合、複数個の指の地点に対する３次元位置情報が正規空間内にマッピングされ得る。そして、このようなマッピングは、遠近投影（Ｐｅｒｓｐｅｃｔｉｖｅ  ｐｒｏｊｅｃｔｉｏｎ）技法を適用することによって具現することができる。
【００４７】
画面位置情報生成部２３０は、正規空間の座標情報を有する手の３次元位置情報を映像表示装置３００の画面に投影して、画面内の仮想空間の位置情報に変換する。具体的には、画面位置情報生成部２３０は、画面内の客体を眺める仮想カメラの位置情報及び方向ベクトル、上方向ベクトルと正規空間を仮想空間へ遠近投影するための視野角を収集し、収集された情報を遠近投影行列に適用することにより、正規空間内の手の３次元位置情報を画面内の仮想空間の３次元位置情報に変換することができる。
【００４８】
ユーザーインタフェース操作部２４０は、仮想空間の３次元位置情報を動作ポイントの位置に決定する。そして、ユーザーインタフェース操作部２４０は、ユーザーが手の位置を変化させる場合、これに合わせて動作ポイントの位置も変化させるようにし、関連したユーザーインタフェース実行情報を生成して映像表示装置３００に伝達する。例えば、図４及び図６を参照すると、画面３１０に表示される動作ポイント４３０は、ユーザーの指４２０及び目４１０と一直線上に配列される。ユーザーが指４２０を移動させると、動作ポイント４３０も前記一直線上に配列されるように移動されるので、ユーザーは、直観的に画面３１０内に表示された客体Ｏに移動させるなどの入力を加えるようになる。
【００４９】
以下、図７及び図８を介して、本発明の一実施例によるユーザーの視点を考慮して動作認識するインタフェース提供方法に対して具体的に説明する。図７及び図８に示された実施例による方法は、図２及び図３に示されたインタフェース提供装置２００において時系列的に処理されるステップなどを含む。従って、以下で省略された内容であるといってもインタフェース提供装置２００に関して以上で記述した内容は、以下で説明する方法にも適用され得る。
【００５０】
先ず、図７を参照すると、インタフェース提供装置２００は、ユーザーインタフェースを映像表示装置３００に提供する（Ｓ１１０）。ユーザーインタフェースは、動作認識をベースに操作されるインタフェースであって、様々な客体が表現されてあり得る。
【００５１】
インタフェース提供装置２００は、映像表示装置３００の画面の４つの頂点の３次元位置情報を把握するための初期設定を実行する（Ｓ１２０）。
【００５２】
図８を参照すると、Ｓ１２０ステップの実行のために、インタフェース提供装置２００は、４つの頂点のそれぞれを手で指すことをユーザーに要請する（Ｓ１２１）。ユーザーが要請に応答して各頂点に対する動作を実行する場合、ＮＵＩ装置１００がユーザーの目と手の３次元位置情報を獲得し、インタフェース提供装置２００がＮＵＩ装置１００から各頂点に対する目と手の３次元位置情報を収集することができる（Ｓ１２２）。続いて、インタフェース提供装置２００は、目と手の３次元位置情報をエネルギー関数に代入して、各頂点の３次元位置情報を計算する（Ｓ１２３）。エネルギー関数は、目と手を通過する直線と頂点との間の距離を求める第１の因子と、４つの頂点が矩形をなすか否かを判断する第２の因子から構成されるものであって、詳細な計算過程は、前述した通りである。
【００５３】
再び図７に戻って、ユーザーは、ユーザーインタフェースを操作するための動作を実行し（例えば、画面に表示されたアイコンをドラッグして移動させる動作）、ＮＵＩ装置１００がこのような動作から目と手の３次元位置情報を獲得する。インタフェース提供装置２００は、ＮＵＩ装置１００から目と手の３次元位置情報を収集する（Ｓ１３０）。
【００５４】
インタフェース提供装置２００は、手の３次元位置情報を目と映像表示装置３００の画面との間の正規空間にマッピングする（Ｓ１４０）。例えば、（１００、−２００、１５０）の位置情報を有する手の３次元位置情報は、正規空間にマッピングされることによって１と−１と間の値に正規化される。つまり、（−０．５、０．７、０．８）のような値に正規化され得る。
【００５５】
インタフェース提供装置２００は、マッピングされた手の３次元位置情報を画面に遠近投影して画面内の仮想空間の位置情報に変換する（Ｓ１５０）。画面内の仮想空間の位置情報は、画面に表示された動作ポイント（例えば、カーソル）の位置情報として指定される。それにより、目、手、動作ポイントが一直線上に置かれるようになる。
【００５６】
続いて、インタフェース提供装置２００は、画面内の仮想空間の位置情報をユーザーインタフェースを操作するための動作ポイントの位置に決定する（Ｓ１６０）。
【００５７】
図７〜図８を介して説明された実施例による方法は、コンピュータによって実行されるプログラムモジュールのようなコンピュータによって実行可能な命令語を含む記録媒体の形態でも具現され得る。コンピュータ読み取り可能な媒体は、コンピュータによってアクセスされ得る任意の可溶媒体であることができ、揮発性及び非揮発性媒体、分離型及び非分離型媒体をいずれも含む。また、コンピュータ読み取り可能な媒体は、コンピュータ格納媒体及び通信媒体をいずれも含むことができる。コンピュータ格納媒体は、コンピュータ読み取り可能な命令語、データ構造、プログラムモジュールまたはその他のデータのような情報の格納のための任意の方法または技術で具現された揮発性及び非揮発性、分離型及び非分離型媒体をいずれも含む。通信媒体は、典型的に、コンピュータ読み取り可能な命令語、データ構造、プログラムモジュール、または搬送波のような変調されたデータ信号のその他のデータ、またはその他の送信メカニズムを含み、任意の情報伝達媒体を含む。
【００５８】
また、本発明の一実施例による方法は、コンピュータによって実行可能な命令語を含むコンピュータプログラム（またはコンピュータプログラム製品）で具現されることもできる。コンピュータプログラムは、プロセッサによって処理されるプログラミング可能な機械命令語を含み、高レベルのプログラミング言語（Ｈｉｇｈ−ｌｅｖｅｌ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｌａｎｇｕａｇｅ）、客体指向プログラミング言語（Ｏｂｊｅｃｔ−ｏｒｉｅｎｔｅｄ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｌａｎｇｕａｇｅ）、アセンブリー言語または機械言語などで具現され得る。また、コンピュータプログラムは、類型のコンピュータ読み取り可能な記録媒体（例えば、メモリ、ハードディスク、磁気／光学媒体またはＳＳＤ（Ｓｏｌｉｄ−Ｓｔａｔｅ  Ｄｒｉｖｅ）など）に記録され得る。
【００５９】
従って、本発明の一実施例による方法は、前述したようなコンピュータプログラムがコンピューティング装置によって実行されることによって具現され得る。コンピューティング装置は、プロセッサと、メモリと、格納装置と、メモリ及び高速拡張ポートに接続している高速インタフェースと、低速バスと格納装置に接続している低速インタフェースのうち、少なくとも一部を含むことができる。このような成分などのそれぞれは、様々なバスを利用して互いに接続されており、共通マザーボードに搭載されるか、他の適切な方式で装着され得る。
【００６０】
ここで、プロセッサは、コンピューティング装置内で命令語を処理することができるが、このような命令語では、例えば、高速インタフェースに接続されたディスプレイのように外部入力、出力装置上にＧＵＩ（Ｇｒａｐｈｉｃ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を提供するためのグラフィック情報を表示するために、メモリや格納装置に格納された命令語を挙げることができる。他の実施例として、多数のプロセッサ及び（または）多数のバスが適切に多数のメモリ及びメモリ形態と共に利用され得る。また、プロセッサは、独立的な多数のアナログ及び（または）デジタルプロセッサを含むチップなどがなすチップセットで具現され得る。
【００６１】
また、メモリは、コンピューティング装置内で情報を格納する。一例として、メモリは、揮発性メモリユニットまたはそれらの集合で構成され得る。他の例として、メモリは、非揮発性メモリユニットまたはそれらの集合で構成され得る。また、メモリは、例えば、磁気あるいは光ディスクのように他の形態のコンピュータ読み取り可能な媒体であることもできる。
【００６２】
そして、格納装置は、コンピューティング装置に大容量の格納空間を提供することができる。格納装置は、コンピュータ読み取り可能な媒体であるとか、このような媒体を含む構成であることができ、例えば、ＳＡＮ（Ｓｔｏｒａｇｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）内の装置などや他の構成も含むことができ、フロッピーディスク装置、ハードディスク装置、光ディスク装置、あるいはテープ装置、フラッシュメモリ、それと類似した他の半導体メモリ装置あるいは装置アレイであり得る。
【００６３】
前述した本発明の説明は、例示のためのものであり、本発明が属する技術分野の通常の知識を有する者は、本発明の技術的思想や必須の特徴を変更せずに、他の具体的な形態で容易に変形が可能であることを理解することができるだろう。従って、以上で記述した実施例などは、すべての面において例示的なものであり、限定的ではないものとして理解すべきである。例えば、単一型で説明されている各構成要素は、分散されて実施されることもでき、同様に分散されたものとして説明されている構成要素なども結合された形態で実施され得る。
【００６４】
本発明の範囲は、前記詳細な説明よりも後述する特許請求の範囲によって示され、特許請求の範囲の意味及び範囲、そして、その均等概念から導出されるすべての変更または変形された形態が本発明の範囲に含まれるものとして解釈されるべきである。
【図１】
2017531227.tif 000015
【図２】
2017531227.tif 000016
【図３】
2017531227.tif 000017
【図４】
2017531227.tif 000018
【図５】
2017531227.tif 000019
【図６】
2017531227.tif 000020
【図７】
2017531227.tif 000021
【図８】
2017531227.tif 000022
【国際調査報告】
2017531227.tif 000023
2017531227.tif 000024
2017531227.tif 000025
2017531227.tif 000026