(57)【要約】【課題】仮想オブジェクトを空間上に表示し、表示された仮想オブジェクトからユーザからの多様な入力を認識するユーザインターフェース装置を提供する。【解決手段】ユーザインターフェース装置は、仮想オブジェクトの形状、機能、位置及び動作パターンに関する情報を格納するメモリ部と、空間上の任意の領域にホログラム表示領域を投影して仮想オブジェクトを表示するホログラム出力部と、ホログラム表示領域に存在するリアルオブジェクトを感知してその位置及び動作パターンに関する情報を生成するリアルオブジェクト感知部と、リアルオブジェクトの位置及び動作パターンに関する情報と格納された情報を利用して、ホログラム表示領域内での仮想オブジェクトとリアルオブジェクト間の接触発生の有無を認識する接触認識部と、そのオブジェクト間の接触発生が認識されると仮想オブジェクトの選択のための入力であるか否かを判断する制御部と、を含む。【選択図】図１
2011159273.tif 000002
【特許請求の範囲】
【請求項１】
仮想オブジェクトの形状、機能、位置及び動作パターンに関する情報を格納するメモリ部と、
空間上の任意の領域にホログラム表示領域を投影し、投影されたホログラム表示領域内に仮想オブジェクトを表示するホログラム出力部と、
前記ホログラム表示領域に存在するリアルオブジェクトを感知してリアルオブジェクトの位置及び動作パターンに関する情報を生成するリアルオブジェクト感知部と、
前記リアルオブジェクト感知部により生成された前記リアルオブジェクトの位置及び動作パターンに関する情報と前記メモリ部に格納された情報を利用して、前記ホログラム表示領域内における前記リアルオブジェクトと前記仮想オブジェクトのそれぞれの位置及び動作パターンを確認して、前記ホログラム表示領域内での前記仮想オブジェクトと前記リアルオブジェクト間の接触発生の有無を認識する接触認識部と、
前記接触認識部で前記仮想オブジェクトと前記リアルオブジェクト間の接触発生が認識されると、前記仮想オブジェクトと前記リアルオブジェクト間に発生した接触が前記仮想オブジェクトの選択のための入力であるか否かを判断し、仮想オブジェクトの選択のための入力であると判断すると、前記メモリ部に格納された情報を検索して前記リアルオブジェクトと接触した仮想オブジェクトの機能を取得し、その取得した機能の実行命令が入力されたことを認識する制御部と、
を含むことを特徴とするホログラムを利用したユーザインターフェース装置。
【請求項２】
前記制御部は、前記仮想オブジェクトと前記リアルオブジェクト間に発生した接触が仮想オブジェクトの選択のための入力であると判断し、または選択取り消しのための入力であると判断すると、前記ホログラム出力部を制御してリアルオブジェクトと接触した仮想オブジェクトの色相や形状を変化させることを特徴とする請求項１に記載のホログラムを利用したユーザインターフェース装置。
【請求項３】
前記制御部は、前記仮想オブジェクトと前記リアルオブジェクト間に発生した接触が仮想オブジェクトの選択のための入力であると判断すると、前記リアルオブジェクト感知部により生成されるリアルオブジェクトの動作パターンに関する情報を利用して前記ホログラム表示領域内におけるリアルオブジェクトの動きを追跡して、リアルオブジェクトに接触している仮想オブジェクトがリアルオブジェクトの動きに対応して動くように前記ホログラム出力部を制御することを特徴とする請求項１又は２に記載のホログラムを利用したユーザインターフェース装置。
【請求項４】
前記制御部は、前記リアルオブジェクトが前記仮想オブジェクトに基準時間以上接触した場合、または複数のリアルオブジェクトが前記仮想オブジェクトの複数のマーカーに同時に接触した場合に、前記仮想オブジェクトと前記リアルオブジェクト間に発生した接触を前記仮想オブジェクトの選択のための入力であると判断することを特徴とする請求項１乃至３の何れか一項に記載のホログラムを利用したユーザインターフェース装置。
【請求項５】
前記制御部は、前記仮想オブジェクトと前記リアルオブジェクト間に発生した接触が前記仮想オブジェクトの選択のための入力であると判断すると、前記リアルオブジェクト感知部にて生成されるリアルオブジェクトの動作パターンに関する情報を利用して前記ホログラム表示領域内におけるリアルオブジェクトの動きをリアルタイムで追跡して、仮想オブジェクトに接触しているリアルオブジェクトが前記リアルオブジェクト感知部の感知範囲外にある場合、またはリアルオブジェクトが同時接触した複数のマーカーの一つからリアルオブジェクトの接触が解除される場合に、仮想オブジェクトの選択のための入力が取り消されたこと判断することを特徴とする請求項１乃至４の何れか一項に記載のホログラムを利用したユーザインターフェース装置。
【請求項６】
前記制御部は、前記ホログラム出力部を制御して、前記仮想オブジェクトに接触している前記リアルオブジェクトの回転動作に応じて前記仮想オブジェクトを回転させるか、または前記仮想オブジェクトに接触している前記リアルオブジェクトの移動動作に応じて前記リアルオブジェクトの移動位置に前記仮想オブジェクトをドラッグさせ、その仮想オブジェクトの回転やドラッグによってユーザから特定の機能の実行命令が入力されたか、またはユーザから特定の機能の実行取り消し命令が入力されたかを判断することを特徴とする請求項１乃至５の何れか一項に記載のホログラムを利用したユーザインターフェース装置。
【請求項７】
前記制御部は、仮想オブジェクトが任意の方向に任意の角度に回転する場合、実行機能または実行取り消し機能を提供する特定の仮想オブジェクトが表示されている位置に仮想オブジェクトがドラッグされる場合、実行する仮想オブジェクトや実行を取り消す仮想オブジェクトが表示されている位置に実行機能または実行取り消し機能を提供する特定の仮想オブジェクトがドラッグされる場合、またはリアルオブジェクトの動作パターンが特定の動作パターンと整合する場合に、ユーザから特定の機能の実行命令が入力されたことを認識し、またはユーザから特定の機能の実行取り消し命令が入力されたことを認識することを特徴とする請求項請求項１乃至６の何れか一項に記載のホログラムを利用したユーザインターフェース装置。
【請求項８】
前記制御部は、ユーザから特定の機能の実行命令が入力されたことと認識する場合、またはユーザから特定の機能の実行取り消し命令が入力されたことと認識する場合に、前記ホログラム出力部を制御して前記ホログラム表示領域または前記ホログラム表示領域に表示されている仮想オブジェクトの色や形状を変化させることを特徴とする請求項６に記載のホログラムを利用したユーザインターフェース装置。
【請求項９】
前記制御部の制御によって音響を放射して前記ホログラム表示領域に音響放射圧を提供する触覚提供部を更に含むことを特徴とする請求項１に記載のホログラムを利用したユーザインターフェース装置。
【請求項１０】
前記リアルオブジェクト感知部は、前記ホログラム表示領域に存在するリアルオブジェクトの３次元位置座標を取得し、該取得した３次元位置座標を利用してリアルオブジェクトの位置に関する情報を生成し、前記リアルオブジェクトの位置の変化によるリアルオブジェクトの３次元位置座標の変化を利用して前記リアルオブジェクトの位置の変化によるベクトル値を算出し、該算出したベクトル値を利用して前記リアルオブジェクトの動作パターンに関する情報を生成することを特徴とする請求項１に記載のホログラムを利用したユーザインターフェース装置。
【請求項１１】
前記リアルオブジェクト感知部は、静電容量タッチスクリーン方式、ＩＲ（ｉｎｆｒａｒｅｄ）タッチスクリーン方式、ＥＭＲ（ｅｌｅｃｔｒｏｍａｇｎｅｔｉｃ  ｒｅｓｏｎａｎｃｅ）デジタイザー方式または／及び映像認識方式のうちのいずれかを利用してホログラム表示領域に存在するリアルオブジェクトの３次元位置座標を取得することを特徴とする請求項１０に記載のホログラムを利用したユーザインターフェース装置。
【請求項１２】
前記リアルオブジェクトは、無線信号送出機能を搭載することを特徴とする請求項１０に記載のホログラムを利用したユーザインターフェース装置。
【請求項１３】
前記リアルオブジェクト感知部は、前記リアルオブジェクトとの間で無線通信を行う通信手段を備え、該通信手段は前記リアルオブジェクトからの無線信号を受信し、該受信した無線信号の受信強度を利用して前記リアルオブジェクトとの距離を判断し、該判断した前記リアルオブジェクトとの距離及び前記無線信号の受信方向を利用して前記ホログラム表示領域内における無線信号を送出した前記リアルオブジェクトの３次元位置座標を取得することを特徴とする請求項１２に記載のホログラムを利用したユーザインターフェース装置。
【請求項１４】
仮想オブジェクトの形状、機能、位置及び動作パターンに関する情報を格納するメモリ部と、
空間上の任意の領域にホログラム表示領域を投影し、投影されたホログラム表示領域内に仮想オブジェクトを表示するホログラム出力部と、
機能情報を含む無線信号を送出するリアルオブジェクトから無線信号を受信し、該受信した無線信号に含まれている前記リアルオブジェクトの機能情報を抽出し、該受信した無線信号を利用して前記ホログラム表示領域内における前記リアルオブジェクトの位置及び動作パターンに関する情報を生成するリアルオブジェクト感知部と、
前記オブジェクトからの無線信号を前記リアルオブジェクト感知部に転送する通信部と、
前記リアルオブジェクト感知部にて生成された前記リアルオブジェクトの位置及び動作パターンに関する情報と前記メモリ部に格納された情報を利用して、前記ホログラム表示領域内における前記リアルオブジェクトと前記仮想オブジェクトのそれぞれの位置及び動作パターンを確認して、前記ホログラム表示領域内での前記仮想オブジェクトと前記リアルオブジェクト間の接触発生の有無を認識する接触認識部と、
前記接触認識部により前記仮想オブジェクトと前記リアルオブジェクト間に接触が発生したことが認識されると、前記リアルオブジェクト感知部にて抽出された前記リアルオブジェクトの機能情報を利用して前記仮想オブジェクトと接触が発生した前記リアルオブジェクトの機能を確認し、その確認したリアルオブジェクトの機能によって、前記仮想オブジェクトと前記リアルオブジェクト間に発生した接触によるユーザの入力を認識する制御部と、
を含むことを特徴とするホログラムを利用したユーザインターフェース装置。
【請求項１５】
前記制御部は、前記仮想オブジェクトと前記リアルオブジェクト間に発生した接触が前記仮想オブジェクトの選択のための入力であると判断する場合、または選択取り消しのための入力であると判断する場合に、前記ホログラム出力部を制御して前記リアルオブジェクトと接触した前記仮想オブジェクトの色や形状を変化させることを特徴とする請求項１４に記載のホログラムを利用したユーザインターフェース装置。
【請求項１６】
前記制御部は、前記接触認識部により前記仮想オブジェクトと前記リアルオブジェクト間に発生した接触が前記仮想オブジェクトの選択のための入力であると認識すると、前記リアルオブジェクト感知部により生成される前記リアルオブジェクトの動作パターンに関する情報を利用して前記ホログラム表示領域内における前記リアルオブジェクトの動きを追跡して、前記リアルオブジェクトに接触している仮想オブジェクトがリアルオブジェクトの動きに対応して動くように前記ホログラム出力部を制御することを特徴とする請求項１４又は１５に記載のホログラムを利用したユーザインターフェース装置。
【請求項１７】
前記制御部は、前記仮想オブジェクトと前記リアルオブジェクト間に発生した接触によってユーザから特定の機能の実行命令が入力されたことと認識する場合、またはユーザから特定の機能の実行取り消し命令が入力されたことと認識する場合に、前記ホログラム出力部を制御して前記ホログラム表示領域または前記ホログラム表示領域に表示されている前記仮想オブジェクトの色や形状を変化させることを特徴とする請求項１４乃至１６の何れか一項に記載のホログラムを利用したユーザインターフェース装置。
【請求項１８】
前記制御部の制御によって音響を放射して前記ホログラム表示領域に音響放射圧を提供する触覚提供部を更に含むことを特徴とする請求項１４に記載のホログラムを利用したユーザインターフェース装置。
【請求項１９】
前記リアルオブジェクト感知部は、前記ホログラム表示領域に存在するリアルオブジェクトからの無線信号を受信し、該受信した無線信号の受信強度を利用して前記リアルオブジェクトとの距離を判断し、該判断したリアルオブジェクトとの距離及び無線信号の受信方向を利用して前記ホログラム表示領域内における無線信号を送出したリアルオブジェクトの３次元位置座標を取得し、該取得した３次元位置座標を利用して前記リアルオブジェクトの位置に対する情報を生成し、リアルオブジェクトの位置の変化による該リアルオブジェクトの３次元位置座標の変化を利用してリアルオブジェクトの位置の変化によるベクトル値を算出し、該算出したベクトル値を利用して前記リアルオブジェクトの動作パターンに関する情報を生成することを特徴とする請求項１４乃至１８の何れか一に記載のホログラムを利用したユーザインターフェース装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ホログラムを利用したユーザインターフェース装置に係り、特に、ユーザ入力のための仮想オブジェクトを空間上にホログラムで表示し、表示された仮想オブジェクトによりユーザからの多様な入力を認識できるようにするホログラムを利用したユーザインターフェース装置に関する。
【背景技術】
【０００２】
今日の携帯電話、ラップトップ（Ｌａｐ−ｔｏｐ）やデスクトップ（Ｄｅｓｋ−ｔｏｐ）などのような端末には、外部からの接触による入力を認識するタッチタイプのユーザインターフェース装置が搭載されている。この種の端末では、搭載されたタッチタイプのユーザインターフェース装置を介してユーザの接触入力を認識することにより多様な機能が実行される。
【０００３】
一般に、タッチタイプのユーザインターフェース装置は、画面を通じて２次元のタッチタイプのユーザインターフェースを提供するタッチパッドまたはタッチスクリーンなどが含まれる。このとき、画面には、ユーザ入力のためのアイコンなどの多様な仮想オブジェクトが表示される。
【０００４】
この種のタッチタイプのユーザインターフェース装置では、画面上においてユーザの接触が発生すると、接触が発生した画面位置に表示されている仮想オブジェクトがユーザによって選択されたことを認識し、且つユーザにより入力されて選択された仮想オブジェクトに対応する特定の機能を実行するための命令を認識する。したがって、ユーザインターフェース装置は、画面に表示された仮想オブジェクトのうちユーザの接触によって選択された仮想オブジェクトに対応する特定の機能を端末に実行させる。
【０００５】
一方、近年、上述したような２次元のタッチタイプのユーザインターフェースを拡張するものとして、ホログラムを利用して３次元のタッチタイプのユーザインターフェースを提供するユーザインターフェース装置が開発されている。
【０００６】
この種のホログラムを利用したユーザインターフェース装置では、空間上の任意の領域にホログラム表示領域を表示し、該ホログラム表示領域にユーザ入力のための多様な仮想オブジェクトを表示する。ユーザインターフェース装置は、表示された仮想オブジェクトのうちユーザにより選択された仮想オブジェクトを認識し、且つユーザにより入力されて選択された仮想オブジェクトに対応する特定の機能を実行するための命令を認識する。したがって、ユーザインターフェース装置は、ユーザの接触によって選択された仮想オブジェクトに対応する特定の機能を端末に実行させる。
【０００７】
しかし、この種の従来のホログラムを利用したユーザインターフェース装置では、表示された仮想オブジェクトが選択されると、そのユーザにより選択された仮想オブジェクトを認識し、そのユーザにより入力されて選択された仮想オブジェクトに対応する特定の機能を実行するための命令を認識する。このため、ユーザの身体の一部分などのようなリアルオブジェクトが単純に空間上に表示されたホログラム表示領域を、例えば、特定の仮想オブジェクトに接触しながら通り過ぎた場合、特定の仮想オブジェクトがユーザによって選択されたことと認識し、且つユーザにより入力されて選択された特定の仮想オブジェクトに対応する機能を実行するための命令を認識することで、ユーザの意図とは関係のない入力を認識し、これにより、端末機の誤動作を誘発するようになるという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上述したような問題点を解決するためになされたものであって、その目的は、ユーザ入力のための仮想オブジェクトを空間上に表示し、表示された仮想オブジェクトによりユーザからの多様な入力を認識できるようにするホログラムを利用したユーザインターフェース装置を提供することである。
【０００９】
本発明の他の目的は、ユーザの入力に対し、それを認識したか否かを視覚または触覚的効果によってユーザにフィードバックすることができるユーザインターフェース装置を提供することである。
【課題を解決するための手段】
【００１０】
上述したような目的を達成するための本発明の一実施形態に係るホログラムを利用したユーザインターフェース装置は、仮想オブジェクトの形状、機能、位置及び動作パターンに関する情報を格納するメモリ部と、空間上の任意の領域にホログラム表示領域を投影し、投影されたホログラム表示領域内に仮想オブジェクトを表示するホログラム出力部と、上記ホログラム表示領域に存在するリアルオブジェクトを感知してリアルオブジェクトの位置及び動作パターンに関する情報を生成するリアルオブジェクト感知部と、前記リアルオブジェクト感知部にて生成されたリアルオブジェクトの位置及び動作パターンに関する情報と前記メモリ部に格納された情報を利用して、前記ホログラム表示領域内におけるリアルオブジェクトと仮想オブジェクトのそれぞれの位置及び動作パターンを確認することで、前記ホログラム表示領域内での仮想オブジェクトとリアルオブジェクト間の接触発生の有無を認識する接触認識部と、前記接触認識部で仮想オブジェクトとリアルオブジェクト間の接触発生を認識すると、仮想オブジェクトとリアルオブジェクト間に発生した接触が仮想オブジェクトの選択のための入力であるか否かを判断し、その判断の結果、仮想オブジェクトの選択のための入力である判断すると、前記メモリ部に格納された情報を検索することによってリアルオブジェクトと接触した仮想オブジェクトの機能を把握し、その把握した機能の実行命令が入力されたことを認識する制御部と、を含む。
【００１１】
一方、本発明の他の実施形態に係るホログラムを利用したユーザインターフェース装置は、仮想オブジェクトの形状、機能、位置及び動作パターンに関する情報を格納するメモリ部と、空間上の任意の領域にホログラム表示領域を投影し、投影されたホログラム表示領域内に仮想オブジェクトを表示するホログラム出力部と、機能情報を含む無線信号を送出するリアルオブジェクトから無線信号を受信し、該受信した無線信号に含まれているリアルオブジェクトの機能情報を抽出し、受信された無線信号を利用してホログラム表示領域内におけるリアルオブジェクトの位置及び動作パターンに関する情報を生成するリアルオブジェクト感知部と、リアルオブジェクトからの無線信号を前記リアルオブジェクト感知部に転送する通信部と、前記リアルオブジェクト感知部にて生成されたリアルオブジェクトの位置及び動作パターンに関する情報と前記メモリ部に格納された情報を利用して、前記ホログラム表示領域内におけるリアルオブジェクトと仮想オブジェクトのそれぞれの位置及び動作パターンを確認することで、前記ホログラム表示領域内での仮想オブジェクトとリアルオブジェクト間の接触発生の有無を認識する接触認識部と、前記接触認識部で仮想オブジェクトとリアルオブジェクト間に接触が発生したことを認識すると、前記リアルオブジェクト感知部にて抽出されたリアルオブジェクトの機能情報を利用して仮想オブジェクトと接触が発生したリアルオブジェクトの機能を確認し、その確認されたリアルオブジェクトの機能によって、仮想オブジェクトとリアルオブジェクト間に発生した接触によるユーザの入力を認識する制御部と、を含む。
【発明の効果】
【００１２】
本発明に係るホログラムを利用したユーザインターフェース装置によれば、ユーザ入力のための仮想オブジェクトを空間上にホログラムとして表示し、表示された仮想オブジェクトによりユーザの入力をより正確に認識することでユーザ入力による端末機の誤動作を防止することができ、製品の品質を向上させることができる。
【００１３】
また、本発明に係るホログラムを利用したユーザインターフェース装置によれば、ユーザの入力に対し、それを認識したか否かを視覚または触覚的効果によってユーザにフィードバックすることでユーザが自身の入力に対する確信を持つことができ、信頼度を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係るホログラムを利用したユーザインターフェース装置の構成を概略的に示すブロック図である。
【図２】本発明の一実施形態に係るホログラムを利用したユーザインターフェース装置における入力認識方法を示すフローチャートである。
【図３】本発明の一実施形態に係るホログラムを利用したユーザインターフェース装置における入力認識方法を説明するための図である。
【図４】本発明の一実施形態に係るホログラムを利用したユーザインターフェース装置における入力認識方法を説明するための図である。
【図５】本発明の一実施形態に係るホログラムを利用したユーザインターフェース装置における入力認識方法を説明するための図である。
【図６】本発明の一実施形態に係るホログラムを利用したユーザインターフェース装置における入力認識方法を説明するための図である。
【図７】本発明の一実施形態に係るホログラムを利用したユーザインターフェース装置における入力認識方法を説明するための図である。
【図８】本発明の他の実施形態に係るホログラムを利用したユーザインターフェース装置の構成を概略的に示すブロック図である。
【図９】本発明の他の実施形態に係るホログラムを利用したユーザインターフェース装置における入力認識方法を示すフローチャートである。
【図１０】本発明の他の実施形態に係るホログラムを利用したユーザインターフェース装置における入力認識方法を説明するための図である。
【発明を実施するための形態】
【００１５】
以下、添付の図面を参照して本発明の好適な実施形態に係るホログラムを利用したユーザインターフェース装置及びそのユーザインターフェース装置における入力認識方法について詳細に説明する。
【００１６】
本発明の一実施形態に係るホログラムを利用したタッチタイプユーザインターフェース装置１００は、図１に示すように、メモリ部１１０と、ホログラム出力部１２０と、実物オブジェクト感知部１３０と、触覚提供部１４０と、接触認識部１５０と、制御部１６０と、を含んでなる。
【００１７】
メモリ部１１０は、仮想オブジェクト別の形状、機能、初期位置及び初期動作パターンに関する情報を格納している。上記初期位置に関する情報は３次元位置座標などを含み、初期動作パターンに関する情報は３次元位置座標及びベクトル値（例えば、移動距離、方向及び速度）などを含む。
【００１８】
ホログラム出力部１２０は、制御部１６０の制御によって空間上の任意の領域にホログラム表示領域を投影し、投影されたホログラム表示領域内に仮想オブジェクトを表示する。
【００１９】
リアルオブジェクト感知部１３０は、ホログラム表示領域に存在するリアルオブジェクト１０を感知して、リアルオブジェクト１０の位置及び動作パターンに関する情報を生成する（図３参照）。このとき、リアルオブジェクト感知部１３０は、ホログラム表示領域に存在するリアルオブジェクト１０の３次元位置座標を獲得し、該獲得した３次元位置座標を利用してリアルオブジェクト１０の位置に関する情報を生成し、リアルオブジェクト１０の位置変化によるリアルオブジェクト１０の３次元位置座標変化を利用してリアルオブジェクト１０の位置変化によるベクトル値を算出し、該算出したベクトル値を利用してリアルオブジェクト１０の動作パターンに関する情報を生成する。上記リアルオブジェクト１０は、ユーザの指または無線信号送出機能を搭載した小型機器などが含まれる。上記小型機器は、ユーザの指先に着用可能な形態で形成されていてよい。
【００２０】
上記リアルオブジェクト感知部１３０は、静電容量タッチスクリーン（Ｃａｐａｃｉｔｉｖｅ  Ｔｏｕｃｈ  Ｓｃｒｅｅｎ）方式、ＩＲタッチスクリーン方式、ＥＭＲデジタイザー（ＥＭＲ  Ｄｉｇｉｔｉｚｅｒ）方式または／及び映像認識方式などを含む方式のうちのいずれかを利用してホログラム表示領域に存在するリアルオブジェクト１０の３次元位置座標を獲得することができる。
【００２１】
また、リアルオブジェクト感知部１３０は、リアルオブジェクト１０から送出される無線信号を受信し、該受信した無線信号の受信強度を利用してリアルオブジェクト１０との距離を把握し、把握されたリアルオブジェクト１０との距離及び無線信号の受信方向を利用してホログラム表示領域内に無線信号を送出したリアルオブジェクト１０の３次元位置座標を獲得してもよい。このとき、リアルオブジェクト感知部１３０は、リアルオブジェクト１０との間で無線通信を行う通信手段を備えることが好ましい。
【００２２】
触覚提供部１４０は、制御部１６０の制御によって音響を放射してホログラム表示領域に音響放射圧（Ａｃｏｕｓｔｉｃ  Ｒａｄｉａｔｉｏｎ  Ｐｒｅｓｓｕｒｅ）を提供する。その結果、ホログラム表示領域に存在するリアルオブジェクト１０は、触覚提供部１４０から提供される音響放射圧の影響を受けるようになる。
【００２３】
一方、接触認識部１５０は、リアルオブジェクト感知部１３０にて生成されたリアルオブジェクト１０の位置及び動作パターンに関する情報とメモリ部１１０に格納された情報を利用して、ホログラム出力部１２０にて投影されたホログラム表示領域内においてリアルオブジェクト１０と仮想オブジェクトのそれぞれの位置及び動作パターンをリアルタイムに確認することで、ホログラム表示領域内での仮想オブジェクトとリアルオブジェクト１０間の接触発生の有無を判断する。接触認識部１５０は、ホログラム表示領域内において仮想オブジェクトとリアルオブジェクト１０間に接触が発生したことを認識すると、リアルオブジェクト１０が接触した仮想オブジェクトの接触部位を検出する。このとき、接触認識部１５０は、ホログラム表示領域内でのリアルオブジェクト１０と仮想オブジェクトのそれぞれの位置及び動作パターンをリアルタイムで確認して、仮想オブジェクトの形状を構成する３次元位置座標と実物オブジェクト１０の形状を構成する３次元位置座標のうち、ホログラム表示領域内において互いに重なる部分が発生すると、仮想オブジェクトとリアルオブジェクト１０間に接触が発生したことを認識する。また、接触認識部１５０は、仮想オブジェクトの形状を構成する３次元位置座標とリアルオブジェクト１０の形状を構成する３次元位置座標のうち、ホログラム表示領域内において互いに重なる部分に該当する３次元位置座標を、リアルオブジェクト１０が接触した仮想オブジェクト１０の接触部位の３次元位置座標として認識してもよい。
【００２４】
一方、制御部１６０は、ホログラム出力部１２０を制御して空間上にホログラム表示領域を投影させ、投影されたホログラム表示領域内に仮想オブジェクトを表示させる。上記制御部１６０は、メモリ部１１０に格納された情報を利用して多様な機能を提供する仮想オブジェクトをそれぞれ初期位置に表示させるか、初期動作パターンに従って動作させるように表示させるように制御する。
【００２５】
また、制御部１６０は、接触認識部１５０にてホログラム表示領域内において仮想オブジェクトとリアルオブジェクト１０間に接触が発生したことを認識すると、仮想オブジェクトとリアルオブジェクト１０間に発生した接触が仮想オブジェクトの選択のための入力であるか否かを判断する。その結果、制御部１６０は、仮想オブジェクトを選択するための入力であると判断すると、上記メモリ１１０部に格納された情報を検索してリアルオブジェクトと接触した仮想オブジェクトの機能を検出し、該検出した機能の実行命令が入力されたことを認識する。
【００２６】
また、制御部１６０は、接触認識部１５０にてホログラム表示領域内において仮想オブジェクトとリアルオブジェクト１０間に接触が発生したことを認識すると、仮想オブジェクトとリアルオブジェクト１０間に発生した接触が仮想オブジェクトの選択であると判断する。その結果、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０間に発生した接触が仮想オブジェクトを選択するための入力と判断するか、または選択を取り消すための入力であると判断すると、制御部１６０は、ホログラム出力部１２０を制御してリアルオブジェクト１０と接触した仮想オブジェクトの色または形状を変化させる。その結果、ユーザは、仮想オブジェクトが選択されたか否かを視覚的に確認することができる。また、上記制御部１６０は、触覚提供部１４０を制御してホログラム表示領域へ音響放射圧を提供する。その結果、ユーザは、リアルオブジェクト１０がユーザの身体の一部位に該当する場合、仮想オブジェクトが選択されたか否かを触覚的に確認することができる。
【００２７】
また、制御部１６０は、リアルオブジェクト１０が仮想オブジェクトに基準時間以上接触した場合、または仮想オブジェクトの形状部位のうちの指定された部位に存在する複数のマーカーにリアルオブジェクト１０が同時接触した場合、仮想オブジェクトとリアルオブジェクト１０間に発生した接触を、仮想オブジェクトを選択するための入力と判断してもよい。上記基準時間は、予め設定されていてもよいし、選択可能としてもよい。
【００２８】
また、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０間に発生した接触を、仮想オブジェクトを選択するための入力であると判断すると、リアルオブジェクト感知部１３０にて生成されるリアルオブジェクト１０の動作パターンに関する情報を利用してホログラム表示領域内におけるリアルオブジェクト１０の動きをリアルタイムで追跡する。制御部１６０は、仮想オブジェクトに接触しているリアルオブジェクト１０がリアルオブジェクト感知部１３０の感知範囲であるホログラム表示領域外であるか否かを確認する。その確認の結果、上記感知範囲外であるか、またはリアルオブジェクト１０が同時に接触していた複数のマーカーのうちの一つからリアルオブジェクト１０の接触が解除されていれば、制御部１６０は、仮想オブジェクトの選択のための入力が取り消されたことを判断し、ホログラム出力部１２０を制御してリアルオブジェクト１０と接触した仮想オブジェクトの色または形状を変化させる。また、制御部１６０は、触覚提供部１４０を制御してホログラム表示領域へ音響放射圧を提供する。
【００２９】
また、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０間に発生した接触を、仮想オブジェクトを選択するための入力であると判断すると、リアルオブジェクト感知部１３０にて生成されるリアルオブジェクト１０の動作パターンに関する情報を利用して、ホログラム表示領域内におけるリアルオブジェクト１０の動きをリアルタイムで追跡する。また、制御部１６０は、リアルオブジェクト１０に接触している仮想オブジェクトがリアルオブジェクト１０の動きに対応して動くようにホログラム出力部１２０を制御する。また、制御部１６０は、仮想オブジェクトの動きによって、ユーザから特定の機能の実行命令が入力されたことと認識するか、またはユーザから特定の機能の実行を取り消す命令が入力されたことを認識する。
【００３０】
すなわち、制御部１６０は、ホログラム出力部１２０を制御して仮想オブジェクトに接触しているリアルオブジェクト１０の回転動作に応じて仮想オブジェクトを回転させるか、または仮想オブジェクトに接触しているリアルオブジェクト１０の移動動作に応じてリアルオブジェクト１０の移動位置に仮想オブジェクトをドラッグする。また、制御部１６０は、仮想オブジェクトの回転やドラッグ位置に応じて、ユーザから特定の機能の実行命令が入力されたことと認識するか、またはユーザから特定の機能の実行を取り消す命令が入力されたことと認識する。例えば、制御部１６０は、仮想オブジェクトが任意の方向に任意の角度に回転する場合、またはホログラム表示領域内において実行機能または実行取り消し機能を提供するアイコンなどのような任意の仮想オブジェクトが表示されている位置に仮想オブジェクトがドラッグされる場合、または実行する仮想オブジェクトや実行を取り消す仮想オブジェクトが表示されている位置に実行機能または実行取り消し機能を提供するアイコンなどのような任意の仮想オブジェクトがドラッグされる場合、ユーザから特定の機能の実行命令が入力されたことを認識するか、またはユーザから特定の機能の実行を取り消す命令が入力されたことを認識する。
【００３１】
さらに、制御部１６０は、リアルオブジェクト感知部１３０にて生成されたリアルオブジェクト１０の動作パターンに関する情報を利用して、リアルオブジェクト１０の動作パターンが特定の動作パターンと一致すると、ユーザから特定の機能の実行命令が入力されたことを認識するか、またはユーザから特定の機能の実行を取り消す命令が入力されたことを認識してもよい。
【００３２】
また、制御部１６０は、ユーザから特定の機能の実行命令が入力されたことを認識するか、またはユーザから特定の機能の実行を取り消す命令が入力されたことを認識すると、ホログラム出力部１２０を制御してホログラム表示領域またはホログラム表示領域に表示されている仮想オブジェクトの色または形状を変化させる。また、制御部１６０は、触覚提供部１４０を制御してホログラム表示領域に音響放射圧を提供してもよい。
【００３３】
図２を参照して本発明の一実施形態に係るホログラムを利用したユーザインターフェース装置における入力認識方法を説明する。
【００３４】
先ず、ホログラムを利用したユーザインターフェース装置１００は、空間上にホログラム表示領域を投影させ、投影されたホログラム表示領域内に仮想オブジェクトを表示させる（ステップＳ２００）。
【００３５】
上記ステップＳ２００において表示された仮想オブジェクトの一つとリアルオブジェクト１０間に接触が発生すると（ステップＳ２１０）、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０間に発生した接触が仮想オブジェクトの選択のための入力であるか否かを判断する（ステップＳ２２０）。
【００３６】
上記ステップＳ２２０において仮想オブジェクトの選択のための入力であると判断すると、制御部１６０は、ホログラム出力部１２０を制御してリアルオブジェクト１０と接触した仮想オブジェクトの色または形状を変化させ、また、触覚提供部１４０を制御してホログラム表示領域に音響放射圧を提供する。
【００３７】
上記ステップＳ２２０では、リアルオブジェクト１０が仮想オブジェクトに予め設定された基準時間以上接触している場合または仮想オブジェクトの指定された部位に存在する複数のマーカーにリアルオブジェクト１０が同時接触した場合、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０間に発生した接触が仮想オブジェクトの選択のための入力であると判断する。例えば、図３に示すように、仮想オブジェクトとして、例えば、実行機能を有するアイコンに予め設定された基準時間以上リアルオブジェクト１０であるユーザの指先が接触した場合、または図４に示すように、仮想オブジェクトとして、例えば、複数の文字に予め設定された基準時間以上リアルオブジェクト１０であるユーザの指先がそれぞれ接触した場合、または図５及び図６に示すように、仮想オブジェクトとして、例えば、アイコンの指定された部位に存在する二つのマーカーにリアルオブジェクト１０であるユーザの指先が同時に接触した場合に、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０間に発生した接触を仮想オブジェクトの選択のための入力であると判断する。
【００３８】
上記ステップＳ２２０において仮想オブジェクトの選択のための入力であると判断すると、制御部１６０は、ホログラム表示領域内においてリアルオブジェクト１０の動きをリアルタイムに追跡して、リアルオブジェクト１０に接触している仮想オブジェクトがリアルオブジェクト１０の動きに対応して動くように制御する（ステップＳ２３０）。制御部１６０は、上記仮想オブジェクトの動きによってユーザから特定の機能の実行命令が入力されたことと認識するか、またはユーザから特定の機能の実行を取り消す命令が入力されたことと認識する（ステップＳ２４０）。
【００３９】
上記ステップＳ２４０では、例えば、図６に示すように、上記ステップＳ２３０において仮想オブジェクトであるアイコンが任意の方向に任意の角度にて回転する場合、または図５に示すように、ホログラム表示領域内に実行機能または実行を取り消す機能を提供するアイコンなどのような任意の仮想オブジェクトが表示されている位置へ仮想オブジェクトがドラッグされる場合、図３に示すように、実行する仮想オブジェクトや実行を取り消す仮想オブジェクトが表示されている位置へ実行機能または実行を取り消す機能を提供するアイコンなどのような任意の仮想オブジェクトがドラッグされる場合、または図７に示すように、リアルオブジェクト１０の動作パターンが任意の動作パターン、すなわち３次元座標軸のうちのいずれかと一致する場合に、制御部１６０は、ユーザからディスプレイオフ（ｄｉｓｐｌａｙ―ｏｆｆ）などのような任意の機能を実行する命令が入力されたことと認識するか、ユーザから特定の機能の実行を取り消す命令が入力されたことと認識する。
【００４０】
上記ステップＳ２４０において特定の機能を実行する命令が入力されたことと認識するか、ユーザから特定の機能の実行を取り消す命令が入力されたことと認識すると、制御部１６０は、ホログラム出力部１２０を制御してホログラム表示領域またはホログラム表示領域に表示されている仮想オブジェクトの色または形状を変化させ、また、触覚提供部１４０を制御してホログラム表示領域に音響放射圧を提供する。←ここまで
【００４１】
上記ステップＳ２２０において仮想オブジェクトの選択のための入力であると判断すると、制御部１６０は、ホログラム表示領域内におけるリアルオブジェクト１０の動きをリアルタイムで追跡して、仮想オブジェクトに接触しているリアルオブジェクト１０の動きを追跡するための領域がホログラム表示領域内かホログラム表示領域外かを確認する。上記確認の結果、リアルオブジェクト１０がホログラム表示領域外にある場合、またはリアルオブジェクト１０に接触した複数のマーカーの一つから接触が解除される場合、制御部１６０は、仮想オブジェクトの選択のための入力が取り消されたと判断し、ホログラム出力部１２０を制御してリアルオブジェクト１０と接触した仮想オブジェクトの色又は形状を変化させる。また、制御部１６０は、触覚提供部１４０を制御してホログラム表示領域に音響放射圧を提供してもよい。
【００４２】
本発明の一実施の形態に係るホログラムを利用したタッチタイプのユーザインターフェース装置１００における入力の認識方法を図３に示す。図３に示すように、ユーザは、リアルオブジェクト１０の機能の実行に関連付けられた仮想オブジェクト１２を選択する場合、例えば、指で機能を実行することを表す他の仮想オブジェクト１４に仮想オブジェクトをドラッグすればよい。このような場合、制御部１６０は、仮想オブジェクト１４に関連した機能を実行する。
【００４３】
本発明の一実施の形態に係るホログラムを利用したタッチタイプのユーザインターフェース装置１００における入力の認識方法を図４に示す。図４に示すように、ユーザは、複数のリアルオブジェクト１０に関連する複数のリアルオブジェクトＣ、ｃ、及びＡを選択する場合、例えば、ユーザの指に装着された小さなデバイスで選択することに応じて、制御部１６０は、その機能を実行する。
【００４４】
本発明の一実施の形態に係るホログラムを利用したタッチタイプのユーザインターフェース装置１００における入力の認識方法を図５に示す。図５に示すように、ユーザは、複数のリアルオブジェクト１０に関連する仮想オブジェクト１６の複数のマーカーに接触する場合、例えば、指で仮想オブジェクト１６を選択してもよいし、他の仮想オブジェクト（例えば、実行機能を表す仮想オブジェクト１８）に仮想オブジェクト１６をドラッグしてもよい。このような場合、制御部１６０は、仮想オブジェクト１６に関連した機能を実行する。
【００４５】
本発明の一実施の形態に係るホログラムを利用したタッチタイプのユーザインターフェース装置１００における入力の認識方法を図６に示す。図６に示すように、ユーザは、複数のリアルオブジェクト１０に関連する仮想オブジェクト２０の複数のマーカーに接触する場合、例えば、指で仮想オブジェクト２０を回転させる操作を繰り返し行って選択してもよい。
【００４６】
本発明の一実施の形態に係るホログラムを利用したタッチタイプのユーザインターフェース装置１００における入力の認識方法を図７に示す。図７に示すように、ユーザは、一つ又は複数のリアルオブジェクト１０に関連する、表示又は投影された仮想オブジェクト２２を通過する操作を、例えば、指で行うことに応じて、制御部１６０は、その機能を実行する。例えば、図７に示すように、制御部１６０は、仮想オブジェクト２２を通過する操作に応じて、ディスプレイオフ（ｄｉｓｐｌａｙ―ｏｆｆ）機能を実行する。
【００４７】
図８は、本発明の他の実施形態に係るホログラムを利用したタッチタイプの入力インターフェース装置２００の構成を示すブロック図である。本発明の一実施の形態に係るホログラムを利用したタッチタイプのユーザインターフェース装置２００における入力の認識方法を図１０に示す。図８に示すように、タッチタイプのユーザインターフェース装置２００は、メモリ部１１０と、ホログラム出力部１２０と、リアルオブジェクト感知部１３０と、触覚提供部１４０と、接触認識部１５０と、制御部１６０と、通信部１７０と、を含む。
【００４８】
メモリ部１１０は、各仮想オブジェクトの形状、機能、初期位置、及び初期動作パターンに関する情報を格納している。上記初期位置に対する情報は３次元位置座標などを含み、初期動作パターンに関する情報は、３次元位置座標及びベクトル値（動作距離、方向及び速度）などを含む。
【００４９】
ホログラム出力部１２０は、制御部１６０の制御によって空間上の任意の領域にホログラム表示領域を投影し、投影されたホログラム表示領域内に仮想オブジェクトを表示する。
【００５０】
リアルオブジェクト感知部１３０は、ホログラム表示領域に存在するリアルオブジェクト１０ａ及び／又は１０ｂから無線信号を受信すると、該受信した無線信号に含まれているリアルオブジェクト１０ａ及び／又は１０ｂの機能情報を抽出し、該受信した無線信号を利用してホログラム表示領域内におけるリアルオブジェクト１０ａ及び／又は１０ｂの位置及び動作パターンに関する情報を生成して制御部１６０に転送する。
【００５１】
上記リアルオブジェクト１０ａ及び１０ｂは異なる機能を含んでも良い。例えば、リアルオブジェクト１０ａは、選択入力機能、実行命令入力機能などを含み、リアルオブジェクト１０ｂは、選択取り消し入力機能、実行取り消し命令入力機能などを含んでもよい。リアルオブジェクト１０ａ及び１０ｂは、その機能に関する情報を含む無線信号送出機能を搭載した小型器機などであればよい。上記小型機器は、ユーザの指に装着可能な形態で形成されてもてよい。
【００５２】
通信部１７０は、リアルオブジェクト１０ａ及び／又は１０ｂに関連する無線通信を実行する。通信部１７０は、リアルオブジェクトから送出される無線信号を受信し、受信した無線信号をリアルオブジェクト感知部１３０に伝送する。例えば、通信部１７０は、指向性アンテナモジュール（図示せず）等を含んでもよい。
【００５３】
リアルオブジェクト感知部１３０は、ホログラム表示領域に存在するリアルオブジェクト１０ａ及び／又は１０ｂから送出される無線信号を通信部１７０から受信し、該受信した無線信号の受信強度を利用してリアルオブジェクト１０ａ及び／又は１０ｂの距離を判断する。また、リアルオブジェクト感知部１３０は、上リアルオブジェクト１０ａ及び／又は１０ｂから判断した距離及び無線信号の受信方向を利用して、ホログラム表示領域内における無線信号を送出したリアルオブジェクト１０ａ及び／又は１０ｂの３次元位置座標を取得し、該取得した３次元位置座標を利用してリアルオブジェクト１０ａ及び／又は１０ｂの位置に関する情報を生成する。また、リアルオブジェクト感知部１３０は、リアルオブジェクト１０ａ及び／又は１０ｂの位置の変化によるリアルオブジェクト１０ａ及び／又は１０ｂの３次元位置座標変化を利用してリアルオブジェクト１０ａ及び／又は１０ｂの位置変化によるベクトル値を算出し、該算出したベクトル値を利用してリアルオブジェクト１０ａ及び／又は１０ｂの動作パターンに関する情報を生成する。
【００５４】
触覚提供部１４０は、制御部１６０の制御によって音響を放射してホログラム表示領域に音響放射圧を提供する。その結果、ホログラム表示領域に存在するリアルオブジェクト１０ａ及び／又は１０ｂは、触覚提供部１４０にて提供される音波放射圧の影響を受けるようになる。
【００５５】
制御部１６０は、ホログラム出力部１２０を制御して空間上にホログラム表示領域を投影させ、投影されたホログラム表示領域内に仮想オブジェクトを表示させる。また、制御部１６０は、メモリ部１１０に格納された情報を利用して、多様な機能を提供する仮想オブジェクトをそれぞれ初期位置に表示させるか、または初期動作パターンに従って動くように表示させる。
【００５６】
接触認識部１５０は、リアルオブジェクト感知部１３０にて生成された実物オブジェクト１０ａ及び／又は１０ｂの位置及び動作パターンに関する情報とメモリ部１１０に格納された情報を利用して、ホログラム出力部１２０により投影されたホログラム表示領域内におけるリアルオブジェクト１０ａ及び／又は１０ｂと仮想オブジェクトのそれぞれの位置及び動作パターンをリアルタイムに確認して、ホログラム表示領域内において仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間で接触が発生したか否かを認識する。また、接触認識部１５０は、ホログラム表示領域内におけるリアルオブジェクト１０ａ及び／又は１０ｂと仮想オブジェクトのそれぞれの位置及び動作パターンをリアルタイムで確認して、仮想オブジェクトの形状を構成する３次元位置座標とリアルオブジェクト１０ａ及び／又は１０ｂの形状を構成する３次元位置座標のうち、ホログラム表示領域内において互いに重なる部分が発生すると、仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に接触が発生したことを認識する。
【００５７】
また、制御部１６０は、接触認識部１５０によりホログラム表示領域内において仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に接触が発生したことが認識されると、リアルオブジェクト感知部１３０により抽出されたリアルオブジェクト１０ａ及び／又は１０ｂの機能情報を利用して仮想オブジェクトとの接触が発生したリアルオブジェクト１０ａ及び／又は１０ｂの機能を確認し、その確認したリアルオブジェクト１０ａ及び／又は１０ｂの機能に応じて、仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に発生した接触によるユーザの入力を認識する。また、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に発生した接触が仮想オブジェクトの選択のための入力であるか否か、または選択を取り消すための入力であるか否かを判断し、または、任意の機能を行う命令が入力されたか否か、または任意の機能の実行を取り消す命令が入力されたか否かなどを判断する。
【００５８】
また、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に発生した接触が仮想オブジェクトの選択のための入力であるか、または選択を取り消すための入力であると判断すると、ホログラム出力部１２０を制御してリアルオブジェクト１０ａ及び／又は１０ｂと接触した仮想オブジェクトの色又は形状を変化させる。また、制御部１６０は、触覚提供部１４０を制御してホログラム表示領域に音響放射圧を提供してもよい。
【００５９】
また、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に発生した接触が仮想オブジェクトの選択のための入力であると判断すると、リアルオブジェクト感知部１３０により生成されるリアルオブジェクト１０ａ及び／又は１０ｂの動作パターンに関する情報を利用して、ホログラム表示領域内におけるリアルオブジェクト１０ａ及び／又は１０ｂの動きをリアルタイムに追跡して、リアルオブジェクト１０ａ及び／又は１０ｂに接触している仮想オブジェクトがリアルオブジェクト１０ａ及び／又は１０ｂの動きに対応して動くようにホログラム出力部１２０を制御する。
【００６０】
また、制御部１６０は、ユーザから任意の機能を実行する命令が入力されたことを認識するか、またはユーザから任意の機能の実行を取り消す命令が入力されたことと認識すると、ホログラム出力部１２０を制御してホログラム表示領域またはホログラム表示領域に表示されている仮想オブジェクトの色相又は形状を変化させる。また、制御部１６０は、触覚提供部１４０を制御してホログラム表示領域に音響放射圧を提供してもよい。
【００６１】
図９及び図１０を参照して本発明の他の実施形態に係るホログラムを利用したユーザインターフェース装置２００における入力認識方法を以下に説明する。図９は、本実施の形態に係るホログラムを利用したユーザインターフェース装置２００における入力認識方法を示すフローチャートである。
【００６２】
先ず、ホログラムを利用したユーザインターフェース装置２００は、空間上にホログラム表示領域を投影させ、投影されたホログラム表示領域内に仮想オブジェクトを表示させる（ステップＳ３００）。
【００６３】
上記ステップＳ３００において表示された仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に接触が発生したと判断すると（ステップＳ３１０）、制御部１６０は、仮想オブジェクトと接触したリアルオブジェクト１０ａ及び／又は１０ｂの機能を確認し（ステップＳ３２０）、その確認したリアルオブジェクト１０ａ及び／又は１０ｂの機能に応じて、仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に発生した接触によるユーザの入力を認識する（ステップＳ３３０）。
【００６４】
上記ステップＳ３３０において、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に発生した接触が、仮想オブジェクトの選択のための入力であるか否か、または選択の取り消しのための入力であるか否かを判断し、または、特定の機能の実行命令が入力されたか否か、または特定の機能の実行取り消し命令が入力されたか否かなどを判断することが好ましい。
【００６５】
上記ステップＳ３３０において仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に発生した接触が仮想オブジェクトの選択のための入力であると判断すると、制御部１６０は、ホログラム出力部１２０を制御して、リアルオブジェクト１０ａ及び／又は１０ｂの動きをリアルタイムで追跡してリアルオブジェクト１０ａ及び／又は１０ｂに接触している仮想オブジェクトがリアルオブジェクト１０ａ及び／又は１０ｂの動きに対応して動くように制御する。
【００６６】
上記ステップＳ３３０において仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に発生した接触が仮想オブジェクトの選択のための入力であると判断し、または選択の取り消しのための入力であると判断すると、制御部１６０は、ホログラム出力部１２０を制御して、リアルオブジェクト１０ａ及び／又は１０ｂと接触した仮想オブジェクトの色又は形状を変化させる。上記ステップＳ３３０において、例えば、図１０に示すように、選択入力機能を備えるリアルオブジェクト１０ａが仮想オブジェクトに接触した場合に、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０ａ間に発生した接触が仮想オブジェクトの選択のための入力であると判断し、選択取り消し入力機能を備えるリアルオブジェクト１０ｂが仮想オブジェクトに接触した場合には、仮想オブジェクトとリアルオブジェクト１０ｂ間に発生した接触が仮想オブジェクトの選択取り消しのための入力であると判断する。一方、上記ステップＳ３３０においてユーザから特定の機能の実行命令が入力されたことと認識し、またはユーザから特定の機能の実行取り消し命令が入力されたことと認識すると、制御部１６０は、ホログラム表示領域またはホログラム表示領域に表示されている仮想オブジェクトの色又は形状を変化させる。また、制御部１６０は、触覚提供部１４０を制御してホログラム表示領域に音響放射圧を提供する。
【００６７】
上記ステップＳ３３０では、例えば、図１０に示すように、実行命令入力機能を備えるリアルオブジェクト１０ａが仮想オブジェクトに接触した場合に、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０ａ間に発生した接触によって特定の機能の実行命令が入力されたことを認識し、実行取り消し命令入力機能を備えるリアルオブジェクト１０ｂが仮想オブジェクトに接触した場合には、仮想オブジェクトとリアルオブジェクト１０ｂ間に発生した接触によって特定の機能の実行取り消し命令が入力されたことと認識する。このように、複数のリアルオブジェクト１０ａ及び／又は１０ｂは異なる機能を示すものであってもよく、ユーザは、ホログラムを利用したユーザインターフェース装置２００を操作するために異なる機能を有するリアルオブジェクト１０ａ及び／又は１０ｂに異なる指を配置してもよい。
【００６８】
本発明によるホログラムを利用したユーザインターフェース装置は、上述した実施形態に限定されるものではなく、本発明の技術思想が許容する範囲内で各種に変形して実施することが可能である。
【００６９】
ここで説明したホログラムを利用したユーザインターフェース装置によれば、ユーザが入力するための仮想オブジェクトはホログラムを利用して表示され、ユーザの入力は表示された仮想オブジェクトを介して認識される。
【００７０】
また、ホログラムを利用したユーザインターフェース装置によれば、認識されたユーザ入力、ユーザ入力の認識は、視覚的又は触覚的にユーザにフィードバックされる。
【符号の説明】
【００７１】
１０    リアルオブジェクト
１００  ユーザインターフェース装置
１１０  メモリ部
１２０  ホログラム出力部
１３０  リアルオブジェクト感知部
１４０  触覚提供部
１５０  接触認識部
１６０  制御部
【図１】
2011159273.tif 000003
【図２】
2011159273.tif 000004
【図３】
2011159273.tif 000005
【図４】
2011159273.tif 000006
【図５】
2011159273.tif 000007
【図６】
2011159273.tif 000008
【図７】
2011159273.tif 000009
【図８】
2011159273.tif 000010
【図９】
2011159273.tif 000011
【図１０】
2011159273.tif 000012