(57)【要約】      （修正有）【課題】ユーザがより便利かつ簡単に、そして直観的にＧＵＩを操作できるディスプレイ装置を提供する【解決手段】第１のディスプレイ装置は、通信モジュール１５０と、第１のオブジェクトを表示してタッチを検知するタッチスクリーン１２０と、ユーザ客体のモーションを検知するモーション検知センサー１３０と、第１のオブジェクトに対するタッチが検知された後に連続するユーザ客体のモーションが検知されると、モーションに応じて表示された第１のオブジェクトを第２のディスプレイ装置に伝送するように通信モジュールを制御するプロセッサ（制御部１４０）と、を有する。【選択図】図２
2015111447.tif 000002
【特許請求の範囲】
【請求項１】
第１のディスプレイ装置であって、
通信部と、
第１のオブジェクトを表示してタッチを検知するタッチスクリーン部と、
ユーザ客体のモーションを検知するモーション検知部と、
前記第１のオブジェクトに対するタッチが検知された後に連続するユーザ客体のモーションが検知されると、前記検知されたユーザ客体のモーションに応じて前記表示された第１のオブジェクトを第２のディスプレイ装置に伝送するように前記通信部を制御するプロセッサと、を有する、
第１のディスプレイ装置。
【請求項２】
前記ユーザ客体のモーションは、ドラッグ動作によるモーションである、
請求項１に記載の第１のディスプレイ装置。
【請求項３】
前記第１のオブジェクトは映像である、
請求項２に記載の第１のディスプレイ装置。
【請求項４】
前記プロセッサは、
前記ユーザ客体の予め設定された地点に対応する前記第２のディスプレイ装置の表示における地点に、前記第１のオブジェクトを表示するための制御命令を生成して前記第２のディスプレイ装置に伝送するように、前記通信部を制御する、
請求項１に記載の第１のディスプレイ装置。
【請求項５】
前記プロセッサは、
前記第２のディスプレイ装置に第２のオブジェクトが表示された状態で前記ユーザ客体のモーションが検知されると、
前記表示された第１のオブジェクトを前記第２のディスプレイ装置に伝送し、前記第２のディスプレイ装置から前記第２のオブジェクトを受信して表示するように、前記タッチスクリーン部を制御する、
請求項１に記載の第１のディスプレイ装置。
【請求項６】
前記プロセッサは、
前記タッチスクリーン部を介してアルファベット“Ｌ”字状のドラッグに入力が受信されると、前記第１のディスプレイ装置の使用をロックし、前記第１のディスプレイ装置の使用が制限されることを表示するように制御する、
請求項１に記載の第１のディスプレイ装置。
【請求項７】
前記プロセッサは、
前記ユーザ客体のモーションが３次元空間上の予め設定された領域内で検知される場合に限り、前記検知されたユーザ客体のモーションに応じて前記表示された第１のオブジェクトを前記第２のディスプレイ装置に伝送するように、前記通信部を制御する、
請求項１に記載の第１のディスプレイ装置。
【請求項８】
インターフェースシステムであって、
第１のオブジェクトを表示してタッチを検知し、ユーザ客体のモーションを検知する第１のディスプレイ装置と、
第２のディスプレイ装置と、を有し、
前記第１のディスプレイ装置は、前記第１のオブジェクトに対するタッチが検知された後に連続するユーザ客体のモーションが検知されると、前記検知されたユーザ客体のモーションに応じて前記表示された第１のオブジェクトを第２のディスプレイ装置に伝送する、
インターフェースシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイ装置及びインターフェースシステムに関し、より詳細には、タッチとモーションによって制御命令を生成するディスプレイ装置及びインターフェースシステムに関する。
【背景技術】
【０００２】
電子機器の機能が多様になるにつれて、今日の電子機器は、たいていＧＵＩ（Ｇｒａｐｈｉｃ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を介してユーザから命令を入力されて実行される。最近に至って更に目立つようになった電子機器の多機能化は、ＧＵＩを複雑にし、ＧＵＩを扱うためのインターフェース装置の操作まで複雑なものにしている。
【０００３】
即ち、多様な機能をもつ電子機器を使うために、ユーザは複雑なＧＵＩでのメニュー探索という不便さを強いられ、さらに、ＧＵＩを扱うためには複雑なインターフェース装置の操作を仕方なく受け入れざるを得なかった。
【０００４】
そこで、ユーザがより便利かつ簡単にＧＵＩを操作できるようにするための方策が求められている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特開第２００５−９３８４６号公報
【特許文献２】韓国特開第２００８−９１０２２号公報
【特許文献３】韓国特開第２００６−９６４５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザがより便利かつ簡単に、そして直観的にＧＵＩ（Ｇｒａｐｈｉｃ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を操作できるようにするディスプレイ装置を提供することにある。
【課題を解決するための手段】
【０００７】
第１のディスプレイ装置は、通信部と、第１のオブジェクトを表示してタッチを検知するタッチスクリーン部と、ユーザ客体のモーションを検知するモーション検知部と、前記第１のオブジェクトに対するタッチが検知された後に連続するユーザ客体のモーションが検知されると、前記検知されたユーザ客体のモーションに応じて前記表示された第１のオブジェクトを第２のディスプレイ装置に伝送するように前記通信部を制御するプロセッサと、を有する。
【０００８】
また、前記ユーザ客体のモーションは、ドラッグ動作によるモーションであってもよい。
【０００９】
また、前記第１のオブジェクトは映像であってもよい。
【００１０】
また、前記プロセッサは、前記ユーザ客体の予め設定された地点に対応する前記第２のディスプレイ装置の表示における地点に、前記第１のオブジェクトを表示するための制御命令を生成して前記第２のディスプレイ装置に伝送するように、前記通信部を制御してもよい。
【００１１】
また、前記プロセッサは、前記第２のディスプレイ装置に第２のオブジェクトが表示された状態で前記ユーザモーションが検知されると、前記表示された第１のオブジェクトを前記第２のディスプレイ装置に伝送し、前記第２のディスプレイ装置から前記第２のオブジェクトを受信して表示するように、前記タッチスクリーン部を制御してもよい。
【００１２】
また、前記プロセッサは、前記タッチスクリーン部を介してアルファベット“Ｌ”字状のドラッグに入力が受信されると、前記第１のディスプレイ装置の使用をロックし、前記第１のディスプレイ装置の使用が制限されることを表示するように制御してもよい。
【００１３】
また、前記プロセッサは、前記ユーザ客体のモーションが３次元空間上の予め設定された領域内で検知される場合に限り、前記検知されたユーザ客体のモーションに応じて前記表示された第１のオブジェクトを第２のディスプレイ装置に伝送するように、前記通信部を制御してもよい。
【００１４】
また、インターフェースシステムは、第１のオブジェクトを表示してタッチを検知し、ユーザ客体のモーションを検知する第１のディスプレイ装置と、第２のディスプレイ装置と、を有し、前記第１のディスプレイ装置は、前記第１のオブジェクトに対するタッチが検知された後に連続するユーザ客体のモーションが検知されると、前記検知されたユーザ客体のモーションに応じて前記表示された第１のオブジェクトを第２のディスプレイ装置に伝送する。
【発明の効果】
【００１５】
本発明によると、ユーザはより便利かつ簡単に、そして直観的にＧＵＩを操作できるようになる。
【図面の簡単な説明】
【００１６】
【図１】本発明が適用可能なインターフェースシステムを示す図である。
【図２】本発明の一実施形態に係るインターフェース装置の構成を示す図である。
【図３】ユーザからタッチを入力される様子を示す図である。
【図４】入力されたタッチを用いて制御命令を生成する方法を説明するための図である。
【図５】ユーザのモーションを検知する様子を示す図である。
【図６】検知されたモーションを用いて制御命令を生成する方法を説明するための図である。
【図７】タッチとモーションとの組み合わせを用いた制御命令を生成する方法を説明するための方法である。
【図８】タッチとモーションとの組み合わせを用いた制御命令を生成する方法を説明するための方法である。
【図９】予め設定された方式による制御命令を生成する方法を説明するための図である。
【図１０】予め設定された方式による制御命令を生成する方法を説明するための図である。
【図１１】予め設定された方式による制御命令を生成する方法を説明するための図である。
【図１２】タッチによるドラッグ（Ｄｒａｇ）の概念説明に提供される図である。
【図１３】タッチによるドラッグの概念説明に提供される図である。
【図１４】モーションによるドラッグの概念説明に提供される図である。
【図１５】モーションによるドラッグの概念説明に提供される図である。
【図１６】マルチタッチとマルチモーションとの概念説明に提供される図である。
【図１７】マルチタッチとマルチモーションとの概念説明に提供される図である。
【図１８】連動操作に関する概念説明に提供される図である。
【図１９】連動操作に関する概念説明に提供される図である。
【図２０】領域によるインターフェース操作の概念説明に提供される図である。
【図２１】分割された領域によるインターフェース操作の概念説明に提供される図である。
【図２２】分割された領域によるインターフェース操作の概念説明に提供される図である。
【図２３】分割された領域によるインターフェース操作の概念説明に提供される図である。
【図２４】デバイスのタッチによるインターフェース操作の概念説明に提供される図である。
【図２５】デバイスのタッチによるインターフェース操作の概念説明に提供される図である。
【図２６】デバイスのタッチによるインターフェース操作の概念説明に提供される図である。
【図２７】２つのモニタと連動するためのインターフェース操作の概念説明に提供される図である。
【図２８】デバイスのタッチによる別のインターフェース操作に対する概念説明に提供される図である。
【図２９】デバイスのタッチによる別のインターフェース操作に対する概念説明に提供される図である。
【図３０】２つのデバイスを用いて、マルチデバイスタッチによるメニューアイテムがそれぞれ表示される様子を示す図である。
【図３１】２つのデバイスを用いて、マルチデバイスタッチによるメニューアイテムがそれぞれ表示される様子を示す図である。
【図３２】本発明の一実施形態に係るインターフェース方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００１７】
＜実施の形態の概要＞
前記目的を達成するための本発明の一実施形態に係るインターフェース装置は、タッチを検知するタッチスクリーンと、３次元空間におけるモーションを検知するモーション検知センサーと、前記タッチに基づいた第１の制御命令、前記モーションに基づいた第２の制御命令および前記タッチと前記モーションとの連動操作に基づいた第３の制御命令のうち少なくとも１つを生成する制御部とを含む。
【００１８】
ここで、前記制御部は、前記タッチの２次元座標情報、前記モーションの３次元座標情報および前記モーションの形態情報のうち少なくとも１つを抽出し、前記抽出された情報を用いて前記第１ないし第３の制御命令のうち少なくとも１つを生成してよい。
【００１９】
なお、前記第１ないし第３の制御命令は、前記インターフェース装置および前記インターフェース装置と接続された外部装置のうち少なくとも１つを制御するための制御命令であってよい。
【００２０】
そして、前記制御部は、前記第１ないし第３の制御命令のうち少なくとも１つに基づいて、前記第１ないし第３の制御命令のうち少なくとも１つが前記タッチスクリーンおよび前記外部装置のうち少なくとも１つに伝達されるようにしてよい。
【００２１】
なお、前記制御部は、前記第１ないし第３の制御命令のうち少なくとも１つに基づいて、前記タッチスクリーンに表示される画面が変更されるようにしてよい。
【００２２】
そして、前記第３の制御命令は、前記第１の制御命令および前記第２の制御命令の組み合わせとは異なる別個の制御命令であってよい。
【００２３】
なお、前記タッチスクリーンまたは前記３次元領域は、複数の領域に区分けされ、前記制御部は、前記タッチ、前記モーションまたは前記連動操作の入力された領域によって互いに異なる制御命令を生成してよい。
【００２４】
そして、前記複数の領域は、前記インターフェース装置と接続された外部装置を制御するための第１の領域および前記タッチスクリーンを制御するための第２の領域を含んでよい。
【００２５】
なお、前記制御部は、前記タッチスクリーンに接触されたデバイスの模様および位置のうち少なくとも１つに基づいて、前記デバイスに関連した第１の制御命令を生成してよい。
【００２６】
ここで、前記デバイスに関連した第１の制御命令は、前記デバイスに対する情報を表示するための命令、前記デバイスに保存されたコンテンツを表示するための命令、前記デバイスに保存されたコンテンツを再生するための命令、前記デバイスに保存されたコンテンツを伝送するための命令および前記デバイスにコンテンツを受信するための命令のうち少なくとも１つを含んでよい。
【００２７】
なお、前記デバイスは、前記デバイスに対する識別手段の装着されたデバイスを含み、前記制御部は、前記識別手段から抽出された前記デバイスに対する情報に基づいて、前記デバイスに関連した制御命令を生成してよい。
【００２８】
そして、前記タッチは、前記タッチスクリーンのうち複数の領域をタッチするマルチタッチを含み、前記モーションは、複数の物体に対するモーションであるマルチモーションを含んでよい。
【００２９】
一方、本発明の一実施形態に係るタッチスクリーンおよびモーション検知センサーのうち少なくとも１つを用いたインターフェース方法は、タッチを検知するステップと、３次元空間におけるモーションを検知するステップと、前記タッチに基づいた第１の制御命令、前記モーションに基づいた第２の制御命令および前記タッチと前記モーションとの連動操作に基づいた第３の制御命令のうち少なくとも１つを生成するステップとを含む。
【００３０】
ここで、前記生成ステップは、前記タッチの２次元座標情報、前記モーションの３次元座標情報および前記モーションの形態情報のうち少なくとも１つを抽出し、前記抽出された情報を用いて前記第１ないし第３の制御命令のうち少なくとも１つを生成してよい。
【００３１】
そして、前記第１ないし第３の制御命令は、前記タッチスクリーンおよび外部装置のうち少なくとも１つを制御するための制御命令であってよい。
【００３２】
なお、本インターフェース方法は、前記生成された第１ないし第３の制御命令のうち少なくとも１つに基づいて、前記第１ないし第３の制御命令のうち少なくとも１つを前記タッチスクリーンおよび前記外部装置のうち少なくとも１つに伝達するステップを更に含んでよい。
【００３３】
そして、本インターフェース方法は、前記生成された第１ないし第３の制御命令のうち少なくとも１つに基づいて、前記タッチスクリーンに表示される画面が変更されるようにするステップを更に含んでよい。
【００３４】
なお、前記第３の制御命令は、前記第１の制御命令および前記第２の制御命令の組み合わせとは異なる別個の制御命令であってよい。
【００３５】
そして、前記タッチスクリーンまたは前記３次元領域は、複数の領域に区分けされ、前記生成ステップは、前記タッチ、前記モーションまたは前記連動操作の入力された領域によって互いに異なる制御命令を生成してよい。
【００３６】
なお、前記複数の領域は、外部装置を制御するための第１の領域および前記タッチスクリーンを制御するための第２の領域を含んでよい。
【００３７】
そして、前記生成ステップは、前記タッチスクリーンに接触されたデバイスの模様および位置のうち少なくとも１つに基づいて、前記デバイスに関連した第１の制御命令を生成してよい。
【００３８】
ここで、前記デバイスに関連した第１の制御命令は、前記デバイスに対する情報を表示するための命令、前記デバイスに保存されたコンテンツを表示するための命令、前記デバイスに保存されたコンテンツを再生するための命令、前記デバイスに保存されたコンテンツを伝送するための命令および前記デバイスにコンテンツを受信するための命令のうち少なくとも１つを含んでよい。
【００３９】
そして、前記デバイスは、前記デバイスに対する識別手段の装着されたデバイスを含み、前記生成ステップは、前記識別手段から抽出された前記デバイスに対する情報に基づいて、前記デバイスに関連した第１の制御命令を生成してよい。
【００４０】
なお、前記タッチは、前記タッチスクリーンのうち複数の領域をタッチするマルチタッチを含み、前記モーションは、複数の物体に対するモーションであるマルチモーションを含んでよい。
【００４１】
一方、本発明の一実施形態に係るインターフェースシステムは、入力されたタッチまたは検知された３次元モーションに基づいた制御命令を生成し、前記制御命令に従って動作し、前記制御命令を外部に伝送するインターフェース装置と、前記制御命令を受信し、前記受信された制御命令に基づいて動作する少なくとも１つの連動装置を含む。
【００４２】
ここで、前記少なくとも１つの連動装置は、前記インターフェース装置、映像出力装置、音声出力装置、印刷装置およびホスト装置のうち少なくとも１つを含んでよい。
【００４３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。
【００４４】
図１は、本発明が適用可能なインターフェースシステムを示す図である。図１に示すように、インターフェースシステムは、インターフェース装置１００と、そしてインターフェース装置１００と連動して使われる連動装置１０とで構成される。
【００４５】
インターフェース装置１００は、ユーザのタッチを入力され、ユーザのモーションを検知し、入力されたタッチまたは検知されたモーションに基づいた制御命令を生成する。なお、インターフェース装置１００は、入力されたタッチまたは検知されたモーションに基づいて生成された制御命令に従って動作する。
【００４６】
具体的に、インターフェース装置１００は、画面表示のための制御命令、オーディオ出力のための制御命令、データ送受信のための制御命令、印刷のための制御命令などを生成し、生成された制御命令に対応する画面を表示する。例えば、画面表示のための制御命令が生成された場合、インターフェース装置１００は、生成された制御命令による画面を表示し、印刷のための制御命令が生成された場合、インターフェース装置１００は、印刷中であることを示す画面を表示する。
【００４７】
なお、インターフェース装置１００は、このような制御命令を連動装置１０に伝達して連動装置１０の動作を制御したりもする。
【００４８】
連動装置１０は、モニタ１１と、プリンタ１３と、ＭＰ３Ｐ（ＭＰＥＧ  Ａｕｄｉｏ  Ｌａｙｅｒ−３  ｐｌａｙｅｒ）１５およびＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）１７などで構成される。
【００４９】
モニタ１１は、インターフェース装置１００から制御命令を受信し、受信された制御命令に従ってモニタ１１本来の機能を果たす。例えば、モニタ１１は、映像出力のための制御命令に従って、インターフェース装置１００から伝達された映像データを用いて、ディスプレイに動画、停止映像などを表示することができる。
【００５０】
プリンタ１３は、インターフェース装置１００から制御命令を受信し、受信された制御命令に従ってプリンタ１３本来の機能を果たす。例えば、プリンタ１３は、写真印刷のための制御命令に従って、インターフェース装置１００から伝達された写真データを用いて、写真を印刷できる。
【００５１】
ＭＰ３Ｐ１５は、インターフェース装置１００から制御命令を受信し、受信された制御命令に従ってＭＰ３Ｐ１５本来の機能を果たす。例えば、ＭＰ３Ｐ１５は、オーディオデータ伝送のための制御命令またはオーディオ出力のための制御命令に従って、インターフェース装置１００から伝達されたオーディオデータを用いて、それを送受信したり再生できる。
【００５２】
ＰＣ１７は、インターフェース装置１００から制御命令を受信し、受信された制御命令に従ってＰＣ１７本来の機能を果たす。例えば、ＰＣ１７は、データ伝送のための制御命令に従って、インターフェース装置１００から伝達されたデータを保存、実施または加工できる。
【００５３】
このように、ユーザは、インターフェース装置１００およびインターフェース装置１００と連動した連動装置１０を使って、より簡単かつ便利にインターフェース操作ができ、インターフェース操作による結果を得られるようになる。
【００５４】
図２は、本発明の一実施形態に係るインターフェース装置１００の構成を示す図である。図２に示すように、インターフェース装置１００は、マルチメディア機能ブロック１１０と、タッチスクリーン１２０と、モーション検知センサー１３０と、制御部１４０と、通信モジュール１５０と、保存部１６０とを含む。
【００５５】
マルチメディア機能ブロック１１０は、ユーザのインターフェース操作による画面が表示されるようにする。具体的に、マルチメディア機能ブロック１１０は、ユーザのインターフェース操作による画面が表示されるようにするため、メニューアイテムまたはコンテンツアイテムのようなＧＵＩ（Ｇｒａｐｈｉｃ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を生成し、動画、停止映像、音楽、テキストなどのコンテンツを再生するなど、インターフェース操作に対応する機能を果たす。
【００５６】
タッチスクリーン１２０は、タッチなどのようなユーザのインターフェース操作を入力される手段として機能する。なお、タッチスクリーン１２０には、ユーザのインターフェース操作による画面が表示される。
【００５７】
例えば、動画を再生するためのユーザのインターフェース操作が入力されると、動画を再生するための制御命令が後述の制御部１４０から生成され、タッチスクリーン１２０は生成された制御命令を受信し、制御命令による動画を再生する。
【００５８】
ここで、動画を再生するための制御命令は、タッチスクリーン１２０を介して入力されたタッチによって生成されてもよく、後述のモーション検知センサー１３０を介して検知されたモーションによって生成されてもよく、タッチスクリーン１２０を介して入力されたタッチとモーション検知センサー１３０を介して検知されたモーションとの組み合わせによって生成されてもよい。
【００５９】
なお、動画を再生するための制御命令は、タッチスクリーン１２０に伝達され、タッチスクリーン１２０で動画が再生されることもできるが、連動装置１０のうちの１つであるモニタ１１に伝達され、モニタ１１で動画が再生されてよい。
【００６０】
一方、タッチスクリーン１２０はタッチのようなインターフェース操作を入力され、入力されたタッチに関する情報を制御部１４０に伝達する。入力されたタッチに関する情報については後述する。
【００６１】
モーション検知センサー１３０は、ユーザの３次元モーションによる操作を入力される手段として機能する。このようなモーション検知センサー１３０は、主に、ユーザの指の動きによるインターフェース操作を検知し、検知されたモーションに関する情報を制御部１４０に伝達する。検知されたモーションに関する情報については後述する。
【００６２】
制御部１４０は、タッチスクリーン１２０を介して入力されたタッチおよびモーション検知センサー１３０を介して検知された３次元モーションを用いて、制御命令を生成する。具体的に、制御部１４０は、タッチスクリーン１２０を介してタッチされた部分の２次元座標情報と検知された３次元モーションの３次元座標情報および形態情報を抽出し、抽出された２次元座標情報、３次元座標情報および形態情報を用いて、制御命令を生成する。
【００６３】
これに対する理解を促すため、図３ないし図６を参照して説明する。
【００６４】
図３は、ユーザＵからタッチを入力される様子を示す図である。図３には、インターフェース装置１００の一部として、タッチスクリーン１２０とモーション検知センサー１３０のみを概略的に示した。
【００６５】
図３に示すように、タッチスクリーン１２０はユーザＵのタッチを入力されるためにＺ軸に垂直にしており、Ｘ軸およびＹ軸と平行して位置しており、モーション検知センサー１３０は、タッチスクリーン１２０上におけるユーザＵの３次元モーションを検知するために、タッチスクリーン１２０の下段に位置している。
【００６６】
このように、ユーザＵはタッチスクリーン１２０をタッチしてインターフェース操作ができ、これによりインターフェース操作に対応する制御命令が生成されるようにしてタッチスクリーン１２０を制御することができる。図示のように、タッチされた部分にはポインター２００が表示されてよい。
【００６７】
一方、図４は、図３のインターフェース操作によって入力されたタッチを用いて、制御命令を生成する方法を説明するための図である。
【００６８】
タッチスクリーン１２０を介してユーザＵのタッチが入力されると、制御部１４０は、タッチスクリーン１２０を介してタッチされた部分の２次元座標情報を抽出する。従って、制御部１４０は、タッチされた部分のＸ軸の座標として５という座標情報を抽出し、タッチされた部分のＹ軸の座標として４という座標情報を抽出するようになる。制御部１４０は、このように抽出された座標情報を用いて制御命令を生成するようになる。
【００６９】
例えば、制御部１４０は、（５、４）という座標情報を通じて、タッチスクリーン１２０の（５、４）という座標にポインター２００が表示されるようにする。即ち、制御部１４０は、タッチスクリーン１２０の画面で、（５、４）の座標にポインター２００が表示されるようにする制御命令を生成するのである。
【００７０】
一方、以上では、説明の便宜上、タッチスクリーン１２０を制御するための制御命令が生成されるものとして想定しただけであって、連動装置１０を制御するための制御命令が生成されるものとして実現しても、勿論、このような技術的思想がそのまま適用できる。
【００７１】
図５は、ユーザＵのモーションを検知する様子を示す図である。図５にも、インターフェース装置１００の一部として、タッチスクリーン１２０とモーション検知センサー１３０のみを概略的に示した。
【００７２】
ユーザＵがタッチスクリーン１２０の上部で指を動かしてインターフェース操作を行なうと、タッチスクリーン１２０の下部に位置したモーション検知センサー１３０は、インターフェース操作によるモーションを検知するようになる。このようなモーション検知センサー１３０は、Ｘ軸へのモーション、Ｙ軸へのモーションおよびＺ軸へのモーションを検知することができる。
【００７３】
このように、インターフェース操作をよるモーションが検知されると、制御部１４０は、インターフェース操作に対応する制御命令を生成してタッチスクリーン１２０を制御することができる。
【００７４】
一方、図６は、図５のインターフェース操作によって検知されたモーションを用いて、制御命令を生成する方法を説明するための図である。
【００７５】
モーション検知センサー１３０を介してユーザＵのモーションが検知されると、制御部１４０は、タッチスクリーン１２０の上部におけるモーションに対する３次元座標情報を抽出する。従って、制御部１４０は、Ｘ軸の座標として５という座標情報を抽出し、Ｙ軸の座標として４という座標情報を抽出し、Ｚ軸の座標として２という座標情報を抽出するようになる。制御部１４０は、このように抽出された座標情報を用いて制御命令を生成するようになる。
【００７６】
制御部１４０は、（５、４、２）という３次元座標情報を通じて、このような３次元座標に対応する画面がタッチスクリーン１２０またはモニタ１１に表示されるようにする。例えば、制御部１４０は、タッチスクリーン１２０の画面のうち、（Ｘ、Ｙ）座標が（５、４）となる地点にポインターまたはアイテムが表示されるようにする制御命令を生成することができ、または、タッチスクリーン１２０に垂直に置かれたモニタ１１の画面のうち、（Ｘ、Ｚ）座標が（５、２）となる地点にポインターまたはアイテムが表示されるようにする制御命令を生成することができる。
【００７７】
このように、制御部１４０は、抽出された座標情報を用いて制御命令を生成するようになる。
【００７８】
一方、制御部１４０は、モーションの形態情報を用いて制御命令を生成する。
【００７９】
モーションの形態情報とは、具体的なインターフェース操作を特定するためのモーションの形態に対する情報のことを意味する。例えば、一本の指を伸ばして残りの指を折った状態でインターフェースを操作する場合、伸ばした指と折った指の形状に対する情報などがモーションの形態情報になる。
【００８０】
従って、制御部１４０は、モーション検知センサー１３０を介して抽出されたモーションの形態情報を用いて、ユーザＵのインターフェース操作の意図（例えば、伸ばした指一本のみを通じてインターフェース操作をするという意図）を把握でき、把握した形態情報を用いてこれに対応する制御命令を生成することができる。
【００８１】
即ち、ユーザＵが指を伸ばしてインターフェース操作を行なう場合、制御部１４０は、モーション検知センサー１３０の検知範囲内にあるモーションに対する形態情報を抽出し、モーションの形態情報を通じて伸ばした指の末端部の座標情報を抽出する過程を通じて、伸ばした指の末端部を用いたインターフェース操作に対応する制御命令を生成することができる。
【００８２】
なお、制御部１４０は、モーション検知センサー１３０を介して抽出されたモーションの形態情報を用いて、タッチスクリーン１２０またはモニタ１１の画面上で、伸ばした指の指定する位置に対する情報が分かる。例えば、指の先端部に対する３次元座標情報および手首、手の甲、伸ばした指の角度などを用いて、指の先端部の指定する位置（即ち、指の先端部の延長線とタッチスクリーン１２０またはモニタ１１の画面が交差する位置）に対する情報が分かる。
【００８３】
一方、制御部１４０は、タッチとモーションとの組み合わせを用いた制御命令を生成することも可能である。具体的に、制御部１４０は、タッチの２次元座標情報、モーションの３次元座標情報およびモーションの形態情報の組み合わせを通じて、それぞれの情報（タッチの２次元座標情報、モーションの３次元座標情報およびモーションの形態情報）により生成できる制御命令とは別個である、独立的な制御命令を生成することができる。
【００８４】
図７および図８は、タッチとモーションとの組み合わせを用いた制御命令を生成する方法を説明するための図である。
【００８５】
図７に示すように、入力されたタッチの２次元座標情報を通じて、タッチスクリーン１２０の特定部分が指定され、検知されたモーションの３次元座標情報および形態情報を通じて、連動装置の１つであるモニタ１１の特定部分が指定された場合、制御部１４０は、タッチとモーションとの組み合わせを用いた新たな制御命令を生成する。
【００８６】
仮に、タッチのみが入力されたなら、タッチの２次元座標情報を通じて指定されたタッチスクリーン１２０の特定部分にはポインターが生成されるか、特定部分に表示されたアイテムが選択される制御命令が生成されることができる。
【００８７】
なお、モーションのみが検知されたなら、モーションの３次元座標情報を通じて指定された連動装置１０の特定部分にはポインターが生成されるか、特定部分に表示されたアイテムが選択される制御命令が生成されることができる。
【００８８】
しかしながら、図７のようにタッチが入力されて同時にモーションが検知された場合には、タッチの２次元座標情報を通じて指定されたタッチスクリーン１２０の特定部分に存在するアイテムＡとモーションの３次元座標情報を通じて指定された連動装置１０の特定部分に存在するアイテムＢの位置が、図８に示すように、互いに変更されるようにする制御命令が生成されることができる。
【００８９】
このように組み合わせによって生成される制御命令は、タッチによって生成される制御命令またはモーションによって生成される制御命令と関連性のない新たな制御命令となる。
【００９０】
図２について再び説明すると、このように、制御部１４０はタッチスクリーン１２０を介して入力されたタッチまたはモーション検知センサー１３０の検知範囲内から検知されたモーションを用いて、制御命令を生成し、生成された制御命令によるマルチメディア機能ブロック１１０の機能実行動作を制御する。
【００９１】
なお、制御部１４０は、生成された制御命令に従って連動装置１０が制御されるようにするため、生成された制御命令を通信モジュール１５０に伝達する。
【００９２】
通信モジュール１５０は、連動装置１０と固有の通信方式によって相互通信ができるように接続される。このような通信モジュール１５０は、２次元座標情報、３次元座標情報およびモーション形態情報を用いて、制御部１４０から生成された制御命令を連動装置１０に伝達する。
【００９３】
例えば、インターフェース装置１００のＸ軸である横面に平行しており、インターフェース装置１００に垂直になるように位置した連動装置（図示せず）がある場合、３次元座標情報が（５、４、２）であり、指の形態が連動装置１０の（５、２）方向を指しているとする。この場合、制御部１４０は、連動装置（図示せず）の（５、２）に該当する部分にポインターを生成したり、連動装置（図示せず）の（５、２）に該当する部分にあるアイテムを選択するための制御命令を生成するようになる。この後、制御部１４０は、通信モジュール１５０に制御命令を伝達し、通信モジュール１５０を制御して制御命令が連動装置（図示せず）に伝達されるようにする。
【００９４】
これにより、通信モジュール１５０から制御命令を受信した連動装置（図示せず）は、受信された制御命令による画面を表示するようになる。
【００９５】
保存部１６０は、インターフェース装置１００を駆動させるためのプログラムが保存されている保存媒体として、メモリ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などで実現可能である。
【００９６】
なお、保存部１６０は、予め設定された方式によるタッチおよび予め設定された方式によるモーションに対応する制御命令の類型を保存し、制御部１４０は、保存部１６０に保存された制御命令の類型に基づいて、予め設定された方式による制御命令を生成する。
【００９７】
これに対する説明のために、図９ないし図１１を参照して説明する。図９ないし図１１は、予め設定された方式による制御命令を生成する方法を説明するための図である。
【００９８】
図９のように、タッチスクリーン１２０を介して、Ｌ字型にタッチが入力されたり、図１０のようにモーション検知センター１３０を介してＬ字型に移動されるモーションが検知された場合、制御部１４０は、Ｌ字型に入力されたタッチまたはＬ字型に移動されたモーションに対応する制御命令として、図１１のように、インターフェース装置の使用を制限（ＬＯＣＫ）し、使用が制限されたことを示す画面を表示するための制御命令を生成する。
【００９９】
ここで、Ｌ字型に入力されたタッチまたはＬ字型に移動されたモーションは、上述の予め設定された方式によるタッチまたはモーションといえる。なお、インターフェース装置の使用を制限（ＬＯＣＫ）し、使用が制限されたことを示す画面を表示するための制御命令は、予め設定された方式によるタッチまたはモーションに対応する制御命令といえる。
【０１００】
このような制御命令の類型は、保存部１６０に保存されており、制御部１４０は保存部１６０に保存された制御命令の類型に基づいて、予め設定された方式による制御命令を生成するようになるのである。
【０１０１】
このように、インターフェース装置１００は、タッチスクリーン１２０とモーション検知センサー１３０を用いて、ユーザＵがより簡単かつ便利にＧＵＩが操作できるようにする環境を提供する。
【０１０２】
以下では、より具体的なインターフェース方法について説明する。
【０１０３】
図１２および図１３は、タッチによるドラッグ（Ｄｒａｇ）の概念説明に提供される図である。
【０１０４】
図１２に示すように、ユーザＵは、タッチスクリーン１２０の特定地点に位置したアイテムをタッチした後、タッチを維持しつつタッチした地点を変更させて、ドラッグ動作によるインターフェース操作を行なうことができる。
【０１０５】
この場合、制御部１４０は、図１３のように、タッチが維持された地点の経路を２次元座標情報として抽出し、抽出された座標情報を用いてタッチが維持された地点の経路に沿ってアイテムが移動されるようにする制御命令を生成することができる。
【０１０６】
図１４および図１５は、モーションによるドラッグの概念説明に提供される図である。
【０１０７】
図１４に示すように、ユーザＵは、モーション検知センサー１３０が検知できる範囲内におけるモーションを通じて、タッチスクリーン１２０または連動装置１０の画面に表示されたアイテムを指定した後、モーションを移動させ、ドラッグ動作によるインターフェース操作を行なうことができる。
【０１０８】
この場合、制御部１４０は、図１５のように、モーションが移動された地点の経路を３次元座標情報として抽出し、抽出された座標情報を用いてモーションが移動された地点の経路に対応するように、タッチスクリーン１２０またはモニタ１１の画面に表示されたアイテムが移動されるようにする制御命令を生成できる。
【０１０９】
図１６および図１７は、マルチタッチとマルチモーションの概念説明に提供される図である。
【０１１０】
図１６に示すように、タッチスクリーン１２０は、複数のタッチを同時に入力されることができ、制御部１４０は、それぞれのタッチに対する３つの制御命令をそれぞれ生成したり、複数のタッチに対する１つの制御命令を生成することができる。
【０１１１】
例えば、図１６のように、タッチスクリーン１２０の３地点が同時にタッチされた場合、制御部１４０は、各地点に位置したアイテムをそれぞれハイライトさせるための３つの制御命令を生成したり、インターフェース装置１００の電源またはモニタ１１の電源をスタンバイモードに切り替えるための制御命令を生成することができる。
【０１１２】
一方、以上では、保存部１６０が、予め設定された方式によるタッチに対応する制御命令の類型を保存し、制御部１４０が保存部１６０に保存された制御命令の類型に基づいて、予め設定された方式による制御命令を生成すると説明した。本例示の場合、３地点に対するタッチが同時に入力されることが、上述の予め設定された方式によるタッチといえるし、３地点に対するタッチが同時に入力された場合、インターフェース装置１００の電源またはモニタ１１の電源をスタンバイモードに切り替えるための制御命令の類型が保存部１６０に予め保存されたといえる。
【０１１３】
なお、図１７に示すように、モーション検知センサー１３０も、複数のモーションを同時に検知することができ、制御部１４０は、それぞれのモーションに対する３つの制御命令をそれぞれ生成したり、複数のモーションに対する１つの制御命令を生成することができる。
【０１１４】
例えば、図１７のように、モーション検知センサー１３０により３地点を指定するマルチモーションが検知され、２つのモーションが連動装置１０の地点を指定し、１つのモーションがタッチスクリーン１２０の地点を指定する場合、制御部１４０は、各地点に位置したアイテムをそれぞれ選択するための３つの制御命令を生成したり、インターフェース装置１００の電源または連動装置１０の電源を終了させるための制御命令を生成することができる。
【０１１５】
このような場合も、予め設定された方式によるモーションに対応する制御命令の類型が保存部１６０に保存された場合といえる。なお、２つのモーションが連動装置１０の地点を指定し、１つのモーションがタッチスクリーン１２０の地点を指定する場合、インターフェース装置１００の電源または連動装置１０の電源をスタンバイモードに切り替えるための制御命令の類型が保存部１６０に予め保存されたといえる。
【０１１６】
図１８および図１９は、インターフェース装置１００と連動装置１０間の連動操作に関する概念説明に提供される図である。以下では、説明の便宜上、図７ないし図１１、図１６および図１７と同様に配置されたインターフェース装置１００とモニタ１１を、それぞれの座標軸を基準に再び示した。
【０１１７】
ユーザＵは、３次元モーションセンサー１３０上におけるインターフェース操作によって、タッチスクリーン１２０またはモニタ１１に表示される画面を変更させることができる。図１８および図１９は、その一例として、モニタ１１に表示された停止映像をドラッグしてタッチスクリーン１２０に移動させるインターフェース操作を示すものである。
【０１１８】
図１８に示すように、ユーザＵが、停止映像を指定した後、指をモニタ１１でタッチスクリーン１２０の方向に移動させると、図１９に示すように、モニタ１１に表示されていた停止映像がタッチスクリーン１２０の方向にドラッグされる。
【０１１９】
このように、ユーザＵは、インターフェース操作により、モニタ１１とタッチスクリーン１２０との相互間の連動操作を可能とすることができる。
【０１２０】
この場合、制御部１４０は、停止映像を画面の下に下ろすようにする制御命令を生成してモニタ１１に伝送し、モニタ１１に表示されていた停止映像が画面の上から下りてくるようにする制御命令を生成してタッチスクリーン１２０に伝送するようになる。
【０１２１】
以上では、連動操作の一例として、モニタ１１からタッチスクリーン１２０へのドラッグ操作について説明したが、これは説明の便宜のための例示的な事項に過ぎない。従って、ドラッグ操作でない場合にも、勿論連動操作ができる。即ち、モニタ１１とタッチスクリーン１２０は、デュアルモニタと同様に動作されることができる。
【０１２２】
従って、以上では、モニタ１１からタッチスクリーン１２０に停止映像を伝送する場合を例として挙げているが、逆に、モニタ１１からタッチスクリーン１２０に停止映像を伝送する場合も勿論可能である。
【０１２３】
一方、本実施形態に係る連動装置１０がモニタ１１ではなくプリンタ１３である場合には、タッチスクリーン１２０からプリンタ１３の方向にのみデータを伝送することが可能である。例えば、タッチスクリーン１２０に表示されていた停止映像をドラッグして、プリンタ１３の方向に移動させるインターフェース操作を行なう場合、タッチスクリーン１２０にはそれ以上停止映像が表示されず、プリンタ１３ではこのような停止映像が出力されることができる。
【０１２４】
図２０は、ユーザＵにより設定された領域によるインターフェース操作の概念説明に提供される図である。
【０１２５】
図２０に示すように、タッチスクリーン１２０は、Ａ１という領域とＡ２という領域とに区分けされ、タッチスクリーン１２０上の垂直空間は、Ｂ１という領域とＢ２という領域とに区分けされる。
【０１２６】
制御部１４０は、インターフェース操作がどの領域で行なわれたかに基づいて制御命令を生成することができる。
【０１２７】
例えば、制御部１４０は、同様のインターフェース操作がＡ１、Ａ２、Ｂ１、Ｂ２のうち、いずれかの領域で行なわれたかに基づいて、互いに異なる制御命令を生成することができ、特に、Ａ１またはＡ２領域でインターフェース操作が行なわれると、モニタ１１との連動操作のためのインターフェース操作として認識し、Ｂ１またはＢ２領域でインターフェース操作が行なわれると、モニタ１１との連動操作でない、タッチスクリーン１２０のみを操作するためのインターフェース操作として認識することができる。
【０１２８】
このように、領域によって互いに異なる制御命令として認識するようにする理由は、インターフェース操作が無闇に入力されることを防ぐためである。
【０１２９】
即ち、タッチスクリーン１２０を介して、Ａ１およびＡ２領域で入力された全てのタッチが連動操作のためのタッチとして認識されるとなると、ユーザＵは、タッチスクリーン１２０に表示される画面のみを変更させるなど、タッチスクリーン１２０のみを操作するためのインターフェース操作を入力することが困難になる。
【０１３０】
なお、モーション検知センサー１３０を介して、Ｂ１およびＢ２領域から検知された全てのモーションが連動操作のためのモーションとして認識される場合にも、ユーザＵは、タッチスクリーン１２０に表示される画面のみを変更させるなど、タッチスクリーン１２０のみを操作するためのインターフェース操作を入力することが困難になる。
【０１３１】
従って、タッチスクリーン１２０の一部領域Ａ１と、タッチスクリーン１２０上の垂直空間のうちの一部領域Ｂ１のみが、連動操作のためのインターフェース操作として認識されるようにするのである。
【０１３２】
図２１ないし図２３は、分割された領域によるインターフェース操作の概念説明に提供される図である。
【０１３３】
図２１のモニタ１１には、ａ、ｂ、ｃ、ｄのメニューアイテムを含むメニュー画面が表示されている。モニタ１１に表示されたメニューアイテムのうち、ｃアイテムを選択する操作は、タッチスクリーン１２０およびモニタ１１間の連動操作であるため、ユーザＵは、Ａ１領域またはＢ１領域のうちいずれか１つの領域におけるインターフェース操作によってｃアイテムを選択することができる。
【０１３４】
図２２は、タッチスクリーン１２０上の垂直空間を用いてアイテムを選択する様子を示す図である。モーション検知センサー１３０を介して、ユーザＵのモーションがＢ２領域から検知された場合、制御部１４０はモニタ１１との連動のための制御命令を生成しない。
【０１３５】
しかしながら、モーション検知センサー１３０を介して、ユーザＵのモーションがＢ１領域から検知された場合、制御部１４０は、検知されたモーションの３次元座標情報およびモーションの形態情報を用いて、モニタ１１との連動のための制御命令を生成するようになる。
【０１３６】
具体的に、モーション検知センサー１３０は、モーション検知センサー１３０の検知範囲内におけるユーザＵのモーションを検知し、検知されたモーションの３次元座標情報のうち、Ｙ軸座標情報を抽出して、ユーザＵのモーションが検知された領域が分かるようになる。
【０１３７】
図２２に示すように、Ｂ２領域に存在していた指がＢ１領域内でモニタ１１の方向に押された場合、モーション検知センサー１３０はこれを検知し、検知されたモーションに対する３次元座標情報と形態情報を制御部１４０に伝達する。
【０１３８】
なお、制御部１４０は、検知されたモーションに対する３次元座標情報と形態情報とを抽出し、抽出された情報に基づいて、ユーザＵのインターフェース操作がｃアイテムを選択するためのインターフェース操作であることが分かるようになる。
【０１３９】
具体的に、制御部１４０は、検知されたモーションの３次元座標情報のうち、Ｘ軸座標情報とＺ軸座標情報とを通じて、ユーザＵのインターフェース操作がｃアイテムを選択するためのインターフェース操作であることが分かるようになる。
【０１４０】
これにより、制御部１４０は、ｃアイテムが選択されてハイライトされるようにするための制御命令を生成し、モニタ１１に伝送し、モニタ１１は受信された制御命令に従ってｃアイテムをハイライトさせて、ｃアイテムの選択による画面を表示する。
【０１４１】
図２３は、タッチスクリーン１２０を用いてアイテムを選択する様子を示す図である。タッチスクリーン１２０を介してユーザＵのタッチがＡ２領域で入力された場合、制御部１４０はモニタ１１との連動のための制御命令を生成しない。
【０１４２】
しかしながら、タッチスクリーン１２０を介してユーザＵのタッチがＡ１領域で入力された場合、制御部１４０は、入力されたタッチの２次元座標情報を用いて、モニタ１１との連動のための制御命令を生成するようになる。
【０１４３】
具体的に、タッチスクリーン１２０は、ユーザＵのタッチを入力され、入力されたタッチの２次元座標のうちＹ軸座標を抽出して、ユーザＵのタッチが入力された領域が分かるようになる。
【０１４４】
図２３に示すように、Ａ２領域に存在していた指がＡ１領域内でタッチされた場合、タッチスクリーン１２０はこれを入力され、入力されたタッチに対する２次元座標情報を制御部１４０に伝達する。
【０１４５】
なお、制御部１４０は、入力されたタッチに対する２次元座標情報を抽出し、抽出された情報に基づいて、ユーザＵのインターフェース操作がｃアイテムを選択するためのインターフェース操作であることが分かるようになる。
【０１４６】
具体的に、制御部１４０は、検知されたモーションの２次元座標情報のうち、Ｘ軸座標情報とＹ軸座標情報とを通じて、ユーザＵのインターフェース操作がｃアイテムを選択するためのインターフェース操作であることが分かるようになる。
【０１４７】
これにより、制御部１４０は、ｃアイテムが選択されてハイライトされるようにするための制御命令を生成し、モニタ１１に伝送し、モニタ１１は受信された制御命令に従ってｃアイテムをハイライトさせて、ｃアイテムの選択による画面を表示する。
【０１４８】
一方、このように、領域の区分けによって動作できるようにするか否かは、ユーザＵの設定によって変更され得る。
【０１４９】
図２４ないし図２６は、ユーザＵのタッチではなく、第３のデバイスのタッチによるインターフェース操作の概念説明に提供される図であり、特に、図２４は、タッチスクリーン１２０に第３のデバイスＡ３００が置かれている様子を示した。
【０１５０】
図２４に示すように、タッチスクリーン１２０は、ユーザＵのタッチだけでなく、デバイスに対するタッチも認識することが可能である。従って、タッチスクリーン１２０は、デバイスＡ３００のタッチを入力され、制御部１２０は、入力されたタッチに基づく制御命令を生成して、タッチスクリーン１２０、モニタ１１またはデバイスＡ３００に伝送する。
【０１５１】
具体的に、タッチスクリーン１２０上にデバイスＡ３００が置かれると、制御部１４０は、デバイスＡ３００に対する情報である、機器名に対する情報、種類情報、保存されたコンテンツに対する情報などに基づいて、制御命令を生成できるようになる。
【０１５２】
このようなデバイスに対する情報は、多様な方法で、インターフェース装置１００に伝達されることができる。
【０１５３】
図２５は、これに対する例示として、デバイスＡ３００に装着された識別手段であるＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）カード３１０により、デバイスＡ３００に対する情報が抽出される様子を示す図である。
【０１５４】
図２５に示すように、デバイスＡ３００は、ＲＦＩＤカード３１０を装着しており、このようなＲＦＩＤカード３１０には、デバイスＡ３００に対する情報が保存されている。
【０１５５】
従って、タッチスクリーン１２０を介してデバイスＡ３００のタッチが入力されると、制御部１４０はＲＦＩＤカード３１０に保存されたデバイスＡ３００に対する情報であるデバイスＡ３００に保存されたコンテンツ情報が、タッチスクリーン１２０またはモニタ１１に伝送されるようにするためのデバイス制御命令をデバイスＡ３００に伝達する。
【０１５６】
これにより、デバイスＡ３００は、ＲＦＩＤカード３１０に保存されたデバイスＡ３００に対する情報をインターフェース装置１００の通信モジュール１５０に伝達するようになる。
【０１５７】
制御部１４０は、通信モジュール１５０からＲＦＩＤカード３１０に保存されたデバイスＡ３００に対する情報であるデバイスＡ３００に保存されたコンテンツ情報を抽出し、抽出されたコンテンツがモニタ１１またはタッチスクリーン１２０に表示されるようにする制御命令を生成して、モニタ１１またはタッチスクリーン１２０に伝送する。これにより、モニタ１１またはタッチスクリーン１２０には、デバイスＡ３００に保存されたコンテンツが表示されるようになる。
【０１５８】
一方、本インターフェース装置１００は、ＲＦＩＤカード３１０に保存されたデバイスＡ３００に対する情報を抽出するためのＲＦＩＤリーダー（図示せず）を更に備えることができる。
【０１５９】
図２６は、更に別の例示として、デバイスＡ３００がタッチスクリーン１２０にタッチされた接触面の特定模様３３０によって、デバイスＡ３００に対する情報が抽出される様子を示す図である。
【０１６０】
図２６に示すように、デバイスＡ３００は、特定模様３３０でタッチスクリーン１２０に接触され、インターフェース装置１００は接触された特定模様３３０のタッチに対応するデバイスに対する情報を保存部１６０に予め保存している。
【０１６１】
従って、タッチスクリーン１２０を介してデバイスＡ３００のタッチが入力されると、制御部１４０はデバイスＡ３００に保存されたコンテンツ情報が伝送されるようにするためのデバイス制御命令を生成してデバイスＡ３００に伝送する。
【０１６２】
これにより、デバイスＡ３００は、自分が保存しているデバイスＡ３００に対する情報をインターフェース装置１００の通信モジュール１５０に伝達するようになる。
【０１６３】
制御部１４０は、通信モジュール１５０からデバイスＡ３００に対する情報であるデバイスＡ３００に保存されたコンテンツ情報を抽出し、抽出されたコンテンツがモニタ１１またはタッチスクリーン１２０に表示されるようにする制御命令を生成し、モニタ１１またはタッチスクリーン１２０に伝送する。これにより、モニタ１１またはタッチスクリーン１２０には、デバイスＡ３００に保存されたコンテンツが表示されるようになる。
【０１６４】
無論、図２５および図２６に示す図に基づいて説明された事項は、説明の便宜のための例示的なものに過ぎず、他の方式を用いてデバイスに対する情報がインターフェース装置１００に伝達できることはいうまでもない。
【０１６５】
図２７は、２つのモニタ１１−１、１１−２と連動するためのインターフェース操作の概念説明に提供される図である。
【０１６６】
インターフェース装置１００は、２つ以上の連動装置と連動して動作されることができ、図２７はこれに対する例示として、２つのモニタ１１−１、１１−２と連動して動作するインターフェース装置１００のタッチスクリーン１２０を示した。
【０１６７】
従って、制御部１４０は、タッチスクリーン１２０を介して入力されたタッチを用いて、制御命令を生成し、タッチスクリーン１２０、第１のモニタ１１−１または第２のモニタ１１−２の動作を制御することができる。なお、制御部１４０は、モーション検知センサー１３０によって検知されたモーションを用いて、制御命令を生成し、タッチスクリーン１２０、第１のモニタ１１−１または第２のモニタ１１−２の動作を制御することができる。
【０１６８】
一方、以上では、デバイスがタッチスクリーン１２０にタッチされた接触面の特定模様３５０によって、デバイスに対する情報が抽出されると上述した。制御部１４０は、このような接触面の特定模様３５０を用いて、抽出されたデバイスに対する情報をどの連動装置に伝送するかを決定することができる。
【０１６９】
例えば、図２７に示された場合のように、デバイスがタッチスクリーン１２０にタッチされた接触面の特定模様３５０が方向性をもっている場合、制御部１４０は、特定模様３５０の方向情報を用いて、第１モニタ１１−１および第２のモニタ１１−２のうち方向情報に対応するモニタである第２のモニタ１１−２に、デバイスに保存されたコンテンツが表示されるようにすることができる。この場合、保存部１６０は、デバイスのタッチされた特定模様３５０に対する情報を保存しており、保存された特定模様３５０と、タッチされた特定模様３５０を比較し、方向情報が分かる。
【０１７０】
主に、ユーザＵがデバイスをタッチスクリーン１２０に位置させる際、デバイスが特定方向を向くように意図的に位置させた場合が、これに該当する。
【０１７１】
図２８および図２９は、デバイスのタッチによる更に別のインターフェース装置に対する概念説明に提供される図である。
【０１７２】
図２８は、デバイスタッチによるメニューアイテムがモニタ１１ではなくタッチスクリーン１２０に表示される様子を示す図である。図２８に示すように、デバイスタッチによるメニューアイテムは、直ちにモニタ１１に生成されず、デバイスがタッチされた領域の周辺に生成されるように実現できる。
【０１７３】
これにより、生成されたメニューアイテムが如何なる動作に基づいて生成されたものであるか、如何なるデバイスに保存されたメニューに関するアイテムであるかを直観的に分かる。
【０１７４】
以後、ユーザＵは、タッチスクリーン１２０に表示されたメニューアイテムのうち１つのコンテンツアイテムを操作し、操作されたコンテンツアイテムに対応するコンテンツがモニタ１１に表示されるようにすることができる。
【０１７５】
図２９は、デバイスタッチによるメニューアイテムが、タッチスクリーン１２０でないモニタ１１に表示される様子を示す図である。図２９に示すように、デバイスタッチによるメニューアイテムは、デバイスのタッチされた領域またはその周辺に生成されずに、直ちにモニタ１１に生成されるように実現できる。
【０１７６】
その後、ユーザＵは、モニタ１１に表示されたメニューアイテムのうち１つのコンテンツアイテムを操作し、操作されたコンテンツアイテムに対応するコンテンツがモニタ１１に表示されるようにすることができる。これは、タッチでないユーザＵのモーションを検知してコンテンツアイテムを操作する場合であるといえる。
【０１７７】
これにより、ユーザＵは、モニタ１１に生成されたメニューアイテムを操作し、操作されたアイテムに対応する画面がモニタ１１に表示されるように実現できる。これは、アイテムに対応する画面に表示するにおいて、タッチスクリーン１２０のサイズが小さい場合を例として挙げられる。
【０１７８】
図３０および図３１は、２つのデバイスを用いて、マルチデバイスタッチによるメニューアイテムがそれぞれ表示される様子を示す図である。
【０１７９】
図示のように、デバイスＡ３００とデバイスＢ４００とがタッチスクリーン１２０に位置すると、タッチスクリーン１２０は、デバイスタッチを認識し、制御部１４０は、入力されたデバイスタッチに基づいてデバイスＡおよびデバイスＢに関する情報を抽出する。
【０１８０】
図３０は、このようなデバイスＡに関する情報であるメニューアイテムおよびデバイスＢに関する情報であるメニューアイテムがモニタ１１に表示された様子を示したものである。モニタ１１には、デバイスＡに保存されたコンテンツに関するメニューアイテムが示されており、なお、デバイスＢに保存されたコンテンツに関するメニューアイテムが示されている。
【０１８１】
これにより、ユーザＵは、２つ以上の複数のデバイスに関する情報を一目で分かる。
【０１８２】
一方、ユーザＵは、図３１に示すように、２つ以上の複数のデバイスに関する情報を確認し、それぞれのデバイスに保存されたコンテンツを簡単に送受信できる。
【０１８３】
図３２は、本発明の一実施形態に係るインターフェース方法を説明するためのフローチャートである。
【０１８４】
まず、制御部１４０は、タッチスクリーン１２０を介して、ユーザＵのタッチが入力されたか否かを判断する（Ｓ５１０）。ユーザＵのタッチが入力された場合（Ｓ５１０−Ｙ）、制御部１４０は、タッチの２次元座標情報を抽出する（Ｓ５２０）。
【０１８５】
その後、制御部１４０は、モーション検知センサー１３０を介して、ユーザＵのモーションが検知されたか否かを判断する（Ｓ５３０）。ユーザＵのモーションが検知された場合（Ｓ５３０−Ｙ）、制御部１４０は、モーションの３次元座標情報およびモーションの形態情報を抽出する（Ｓ５４０）。
【０１８６】
制御部１４０は、領域区分けが設定されたか否かを判断する（Ｓ５５０）。領域区分けが設定された場合（Ｓ５５０−Ｙ）、制御部１４０は、抽出された情報を用いて領域を判断し、判断された領域に基づいて制御命令を生成する（Ｓ５６０）。しかし、領域区分けが設定されていない場合（Ｓ５５０−Ｎ）、制御部１４０は、抽出された情報のみを用いて制御命令を生成するようになる（Ｓ５７０）。
【０１８７】
その後、制御部１４０は、抽出された情報を用いて、制御命令がタッチスクリーン１２０または連動装置１０に伝達されるようにし（Ｓ５８０）、タッチスクリーン１２０または連動装置１０は、受信された制御命令に従って動作するようになる（Ｓ５９０）。
【０１８８】
これにより、ユーザは、より簡単かつ便利に直観的にＧＵＩを操作することが可能となる。
【０１８９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１９０】
１０  連動装置
１１  モニタ
１３  プリンタ
１５  ＭＰ３Ｐ
１７  ＰＣ
１００  インターフェース装置
１１０  マルチメディア機能ブロック
１２０  タッチスクリーン
１３０  モーション検知センサー
１４０  制御部
１５０  通信モジュール
１６０  保存部
２００  ポインター
３００  デバイスＡ
３１０  ＲＦＩＤカード
３３０、３５０  特定模様
４００  デバイスＢ
【図１】
2015111447.tif 000003
【図２】
2015111447.tif 000004
【図３】
2015111447.tif 000005
【図４】
2015111447.tif 000006
【図５】
2015111447.tif 000007
【図６】
2015111447.tif 000008
【図７】
2015111447.tif 000009
【図８】
2015111447.tif 000010
【図９】
2015111447.tif 000011
【図１０】
2015111447.tif 000012
【図１１】
2015111447.tif 000013
【図１２】
2015111447.tif 000014
【図１３】
2015111447.tif 000015
【図１４】
2015111447.tif 000016
【図１５】
2015111447.tif 000017
【図１６】
2015111447.tif 000018
【図１７】
2015111447.tif 000019
【図１８】
2015111447.tif 000020
【図１９】
2015111447.tif 000021
【図２０】
2015111447.tif 000022
【図２１】
2015111447.tif 000023
【図２２】
2015111447.tif 000024
【図２３】
2015111447.tif 000025
【図２４】
2015111447.tif 000026
【図２５】
2015111447.tif 000027
【図２６】
2015111447.tif 000028
【図２７】
2015111447.tif 000029
【図２８】
2015111447.tif 000030
【図２９】
2015111447.tif 000031
【図３０】
2015111447.tif 000032
【図３１】
2015111447.tif 000033
【図３２】
2015111447.tif 000034