(57)【要約】【課題】  多くの制御対象装置のうちのユーザが所望する任意の制御対象の装置を、様々な物体を入力装置として利用することで制御することができる入力制御システム提供する。【解決手段】  入力制御システムが、入力装置と撮影装置と制御装置とを備え、制御装置が、入力装置に与えられた動作種別の情報を当該入力装置から受信するか、または当該入力装置を撮影している撮影装置より入力装置の撮影画像を受信し当該撮影画像の基準時刻からの変化に基づいてその入力装置の動作種別を認識する。そして、受信した動作種別の情報に対応付けられて制御情報記憶手段に記録されている制御情報を読み取って、その制御情報を、入力を受付けた制御対象装置４の識別情報で示される当該制御対象装置４へ送信する。【選択図】    図１
2006222622.tif 000002
【特許請求の範囲】
【請求項１】
入力装置と撮影装置と制御装置とを少なくとも備え、制御対象装置の制御を行なう入力制御システムであって、
前記制御装置が、
前記制御対象装置の識別情報と、前記入力装置の識別情報との入力を受付ける識別情報受付手段と、
前記入力装置に与えられた動作種別の情報を当該入力装置から受信する動作種別情報受信手段、または当該入力装置を撮影している前記撮影装置より前記入力装置の撮影画像を受信し当該撮影画像の基準時刻からの変化に基づいてその入力装置の動作種別を認識する動作種別認識手段、のいずれかと、
前記入力を受付けた前記制御対象装置の識別情報および前記入力装置の識別情報に対応付けて、前記動作種別ごとの前記制御対象装置の制御用の制御情報を記憶する制御情報記憶手段と、
前記受信した動作種別の情報に対応付けられて前記制御情報記憶手段に記録されている制御情報を読み取って、その制御情報を、前記入力を受付けた制御対象装置の識別情報で示される当該制御対象装置へ送信する制御情報送信手段と、
を備えることを特徴とする入力制御システム。
【請求項２】
前記入力制御システムが表示装置を備えており、
前記制御装置が、
前記制御対象装置の識別情報および前記入力装置の識別情報に対応付けて、前記制御対象装置の制御する際に前記入力装置に加える動作を補助する、入力補助画像を記憶する入力補助画像記憶手段と、
前記入力装置に対応付けて前記表示装置の識別情報を記憶する識別情報記憶手段と、
前記入力を受け付けた前記入力装置の識別情報に対応して前記識別情報記憶手段に記憶される表示装置の識別情報で示される当該表示装置へ、前記入力補助画像を送信する入力補助画像送信手段とを備え、
前記表示装置が、
前記撮影装置の撮影した入力装置の撮影画像を受信して表示部に表示する撮影画像表示手段と、
前記撮影画像表示手段に表示した前記入力装置の撮影画像に、前記制御装置より受信した前記入力補助画像を重ねて表示する入力補助画像合成手段と、
を備えることを特徴とする請求項１に記載の入力制御システム。
【請求項３】
前記動作種別は、当該入力装置が備えるボタンの種別の情報、または当該入力装置の位置変動、または当該入力装置の回転角度、であることを特徴とする請求項１または請求項２に記載の入力制御システム。
【請求項４】
入力装置と撮影装置と制御装置とを少なくとも備え、制御対象装置の制御を行なう入力制御システムにおける前記制御装置であって、
前記制御対象装置の識別情報と、前記入力装置の識別情報との入力を受付ける識別情報受付手段と、
前記入力装置に与えられた動作種別の情報を当該入力装置から受信する動作種別情報受信手段、または当該入力装置を撮影している前記撮影装置より前記入力装置の撮影画像を受信し当該撮影画像の基準時刻からの変化に基づいてその入力装置の動作種別を認識する動作種別認識手段、のいずれかと、
前記入力を受付けた前記制御対象装置の識別情報および前記入力装置の識別情報に対応付けて、前記動作種別ごとの前記制御対象装置の制御用の制御情報を記憶する制御情報記憶手段と、
前記受信した動作種別の情報に対応付けられて前記制御情報記憶手段に記録されている制御情報を読み取って、その制御情報を、前記入力を受付けた制御対象装置の識別情報で示される当該制御対象装置へ送信する制御情報送信手段と、
を備えることを特徴とする制御装置。
【請求項５】
前記制御対象装置の識別情報および前記入力装置の識別情報に対応付けて、前記制御対象装置の制御する際に前記入力装置に加える動作を補助する、入力補助画像を記憶する入力補助画像記憶手段と、
前記入力装置に対応付けて表示装置の識別情報を記憶する識別情報記憶手段と、
前記入力を受け付けた前記入力装置の識別情報に対応して前記識別情報記憶手段に記憶される表示装置の識別情報で示される当該表示装置へ、前記入力補助画像を送信する入力補助画像送信手段と、
を備えることを特徴とする請求項４に記載の制御装置。
【請求項６】
入力装置と撮影装置と制御装置とを少なくとも備え、制御対象装置の制御を行なう入力制御システムの、前記制御装置のコンピュータに実行させるプログラムであって、
前記制御対象装置の識別情報と、前記入力装置の識別情報との入力を受付ける識別情報受付処理と、
前記入力装置に与えられた動作種別の情報を当該入力装置から受信する動作種別情報受信処理、または当該入力装置を撮影している前記撮影装置より前記入力装置の撮影画像を受信し当該撮影画像の基準時刻からの変化に基づいてその入力装置の動作種別を認識する動作種別認識処理、のいずれかと、
前記入力を受付けた前記制御対象装置の識別情報および前記入力装置の識別情報に対応付けて、前記動作種別ごとの前記制御対象装置の制御用の制御情報を記憶する制御情報記憶手段において、前記受信した動作種別の情報に対応付けられて記録されている制御情報を読み取って、その制御情報を、前記入力を受付けた制御対象装置の識別情報で示される当該制御対象装置へ送信する制御情報送信処理と、
をコンピュータに実行させるプログラム。
【請求項７】
請求項５の処理に加え、
前記制御対象装置の識別情報および前記入力装置の識別情報に対応付けて、前記制御対象装置の制御する際に前記入力装置に加える動作を補助する、入力補助画像を記憶する入力補助画像記憶処理と、
前記入力装置に対応付けて表示装置の識別情報を記憶する識別情報記憶手段において、前記入力を受け付けた前記入力装置の識別情報に対応して記憶される表示装置の識別情報で示される当該表示装置へ、前記入力補助画像を送信する入力補助画像送信処理と、
をさらにコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の装置の制御を行なう入力制御システムおよび制御装置、制御プログラムに関する。
【背景技術】
【０００２】
ユビキタス社会では、あらゆる箇所にコンピュータが存在し、それに応じた入力装置が存在し、当該入力装置からその入力装置に対応した特定の制御対象装置に制御用の信号が送信される。そして入力装置を持つ事で、あらゆる箇所のコンピュータなどの制御対象の装置に信号を送ることができれば非常に便利である。最近では、赤外線通信が可能な携帯電話とテレビを利用し、携帯電話にダウンロードしたテレビ制御アプリケーションを用いてテレビを操作するという仕組みが考案、実施されている。このように信号を送るべき装置やコンピュータに対応したアプリケーションをダウンロードすることで様々なコンピュータに信号を送る事が可能になった。そして、入力装置で様々な装置やコンピュータに信号を送るには、入力装置は常に持ち歩くもので、ウェアラブルな装置である必要があるため、コンパクトである事が望ましい。また、多種多様な利用者が利用するため解り易いユーザインタフェースを提供する必要もある。
なお、あらかじめ操作対象の装置ごとに遠隔操作に対応したリモコンデータを、格納したインターネット上のサーバからダウンロードし、当該データを利用して操作対象の装置の制御を行なう技術が公開されている（例えば、特許文献１参照）。
【特許文献１】特開２００４−４８７７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述の技術はあくまでも携帯端末が入力装置となっているので、ユーザが保持する携帯端末から制御対象の装置へ入力することしかできなかった。ここで例えば、今後のユビキタス社会においては、入力装置が予め街角のどこかに備えられており、当該街角に予め設置されている入力装置を利用して、多くの装置のうちのユーザが所望する任意の制御対象の装置を制御するようなシステムが必要となる可能性が存在する。または身近にある物体自体を入力装置として用いるようなシステムが必要となる可能性が存在する。
また上述の技術は、様々な制御対象装置に対して信号を送ることができるが、例えば携帯端末が携帯電話である場合には、ユーザインタフェースを提供する表示部は携帯電話であるため、当該表示部が３〜４ｃｍ四方の大きさであり、そこに分かり易いユーザインタフェースを提供するとなると、誰もが理解できる絵を使ったボタン表示にするくらいがせいぜいで、伝え辛い表示を行うとＨｅｌｐページを別途提供、取扱説明書などを提供する必要がある。
また上述の技術では、携帯端末にタッチパネル式ディスプレイを備える事で、非常に柔軟な入力インタフェースを提供する事ができるが、上記同様、１画面で解り易くユーザインタフェースを提供するとなると、誰もが理解できる絵を使ったボタン表示にするか、画面を大きくしてボタンに対し説明を文字などで付加する事で解り易いユーザインタフェースを提供する必要があり、理解しやすいようにすればするほど、入力装置自体が大きくなってしまい、ウェアラブルで持ち運ぶには辛くなる。
【０００４】
そこでこの発明は、多くの制御対象装置のうちのユーザが所望する任意の制御対象の装置を、様々な物体を入力装置として利用することで制御することができ、また、ユーザインターフェースの大きさの制限に入力装置の機能が制限されることがない、入力制御システムを提供することを目的としている。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題を解決すべくなされたもので、入力装置と撮影装置と制御装置とを少なくとも備え、制御対象装置の制御を行なう入力制御システムであって、前記制御装置が、前記制御対象装置の識別情報と、前記入力装置の識別情報との入力を受付ける識別情報受付手段と、前記入力装置に与えられた動作種別の情報を当該入力装置から受信する動作種別情報受信手段、または当該入力装置を撮影している前記撮影装置より前記入力装置の撮影画像を受信し当該撮影画像の基準時刻からの変化に基づいてその入力装置の動作種別を認識する動作種別認識手段、のいずれかと、前記入力を受付けた前記制御対象装置の識別情報および前記入力装置の識別情報に対応付けて、前記動作種別ごとの前記制御対象装置の制御用の制御情報を記憶する制御情報記憶手段と、前記受信した動作種別の情報に対応付けられて前記制御情報記憶手段に記録されている制御情報を読み取って、その制御情報を、前記入力を受付けた制御対象装置の識別情報で示される当該制御対象装置へ送信する制御情報送信手段と、を備えることを特徴とする入力制御システムである。
【０００６】
また本発明は、上述の制御システムが表示装置を備えており、前記制御装置が、前記制御対象装置の識別情報および前記入力装置の識別情報に対応付けて、前記制御対象装置の制御する際に前記入力装置に加える動作を補助する、入力補助画像を記憶する入力補助画像記憶手段と、前記入力装置に対応付けて前記表示装置の識別情報を記憶する識別情報記憶手段と、前記入力を受け付けた前記入力装置の識別情報に対応して前記識別情報記憶手段に記憶される表示装置の識別情報で示される当該表示装置へ、前記入力補助画像を送信する入力補助画像送信手段とを備え、前記表示装置が、前記撮影装置の撮影した入力装置の撮影画像を受信して表示部に表示する撮影画像表示手段と、前記撮影画像表示手段に表示した前記入力装置の撮影画像に、前記制御装置より受信した前記入力補助画像を重ねて表示する入力補助画像合成手段と、を備えることを特徴とする。
【０００７】
また本発明は、上述の入力制御システムにおいて、前記動作種別は、当該入力装置が備えるボタンの種別の情報、または当該入力装置の位置変動、または当該入力装置の回転角度、であることを特徴とする。
【０００８】
また本発明は、入力装置と撮影装置と制御装置とを少なくとも備え、制御対象装置の制御を行なう入力制御システムにおける前記制御装置であって、前記制御対象装置の識別情報と、前記入力装置の識別情報との入力を受付ける識別情報受付手段と、前記入力装置に与えられた動作種別の情報を当該入力装置から受信する動作種別情報受信手段、または当該入力装置を撮影している前記撮影装置より前記入力装置の撮影画像を受信し当該撮影画像の基準時刻からの変化に基づいてその入力装置の動作種別を認識する動作種別認識手段、のいずれかと、前記入力を受付けた前記制御対象装置の識別情報および前記入力装置の識別情報に対応付けて、前記動作種別ごとの前記制御対象装置の制御用の制御情報を記憶する制御情報記憶手段と、前記受信した動作種別の情報に対応付けられて前記制御情報記憶手段に記録されている制御情報を読み取って、その制御情報を、前記入力を受付けた制御対象装置の識別情報で示される当該制御対象装置へ送信する制御情報送信手段と、を備えることを特徴とする制御装置。
【０００９】
また本発明は、上述の制御装置が、前記制御対象装置の識別情報および前記入力装置の識別情報に対応付けて、前記制御対象装置の制御する際に前記入力装置に加える動作を補助する、入力補助画像を記憶する入力補助画像記憶手段と、前記入力装置に対応付けて表示装置の識別情報を記憶する識別情報記憶手段と、前記入力を受け付けた前記入力装置の識別情報に対応して前記識別情報記憶手段に記憶される表示装置の識別情報で示される当該表示装置へ、前記入力補助画像を送信する入力補助画像送信手段と、を備えることを特徴とする。
【００１０】
また本発明は、入力装置と撮影装置と制御装置とを少なくとも備え、制御対象装置の制御を行なう入力制御システムの、前記制御装置のコンピュータに実行させるプログラムであって、前記制御対象装置の識別情報と、前記入力装置の識別情報との入力を受付ける識別情報受付処理と、前記入力装置に与えられた動作種別の情報を当該入力装置から受信する動作種別情報受信処理、または当該入力装置を撮影している前記撮影装置より前記入力装置の撮影画像を受信し当該撮影画像の基準時刻からの変化に基づいてその入力装置の動作種別を認識する動作種別認識処理、のいずれかと、前記入力を受付けた前記制御対象装置の識別情報および前記入力装置の識別情報に対応付けて、前記動作種別ごとの前記制御対象装置の制御用の制御情報を記憶する制御情報記憶手段において、前記受信した動作種別の情報に対応付けられて記録されている制御情報を読み取って、その制御情報を、前記入力を受付けた制御対象装置の識別情報で示される当該制御対象装置へ送信する制御情報送信処理と、をコンピュータに実行させるプログラムである。
【００１１】
また本発明は、上述のプログラムの処理に加え、前記制御対象装置の識別情報および前記入力装置の識別情報に対応付けて、前記制御対象装置の制御する際に前記入力装置に加える動作を補助する、入力補助画像を記憶する入力補助画像記憶処理と、前記入力装置に対応付けて表示装置の識別情報を記憶する識別情報記憶手段において、前記入力を受け付けた前記入力装置の識別情報に対応して記憶される表示装置の識別情報で示される当該表示装置へ、前記入力補助画像を送信する入力補助画像送信処理と、をさらにコンピュータに実行させるプログラムである。
【発明の効果】
【００１２】
本発明によれば、ユーザは遠隔より制御対象装置を制御することができる。また、入力装置が、所定の場所に予め設置されており、当該入力装置でユーザが希望する任意の制御対象装置を制御するような場合において、当該任意の制御対象装置の入力補助画像を利用しながら、制御対象装置を制御できるようになる。また、表示部にヘッドマウントディスプレイなどを用いることによって、携帯端末などの表示部の制限がなくなり、ユーザの視野全体にあたかも入力装置の入力補助画像を合成して表示することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の一実施形態による入力制御システムを図面を参照して説明する。図１は同実施形態による入力制御システムの構成を示すブロック図である。この図において、符号１は制御対象装置の制御を行なう制御サーバ（制御装置）である。２は入力装置であり予め定められた所定の入力部（ボタンなど）が備えられている。３は撮影機能を備えたヘッドマウントディスプレイ＜以下、ＨＭＤと呼ぶ＞（表示装置）であり、撮影機能によって撮影された入力装置がディスプレイに表示される。なお、本実施形態においてはＨＭＤ３を用いて入力制御システムについて説明するが、ＨＭＤ３の代わりに、携帯電話やＰＤＡ（Personal Digital Assistants）などの携帯端末を利用するようにしても良い。また４は制御対象装置であり、例えばテレビ、エアコン、照明器などの電化製品や、その他の電気信号の入力によって動作する工業製品が考えられる。そして、制御サーバ１、入力装置２、ＨＭＤ３、制御対象装置４は通信ネットワークを介して接続されている。ここで、制御サーバ１はＨＭＤ３自体に備えられるようにしても良い。
【００１４】
そして制御サーバ１において、符号１１は通信ネットワークを介して他の装置と情報を送受信する通信処理部（識別情報受付手段、動作種別情報受信手段）である。また１２は制御サーバ１の各処理部を制御する制御部（入力補助画像送信手段）である。また１３は各種情報を記憶するデータベース（制御情報記憶手段、入力補助画像記憶手段、識別情報記憶手段）である。また１４は入力装置に入力された情報や、入力装置に与えられた動作に基づいてその動作種別を認識する動作種別認識部（動作種別認識手段）である。また１５は認識された動作種別に基づいて、制御対象装置４を制御するための信号を当該制御対象装置４へ送信処理する制御情報送信処理部（制御情報送信手段）である。
【００１５】
また入力装置２において、符号２１は通信ネットワークを介して他の装置と情報を送受信する通信処理部である。また２２は入力装置１の各処理部を制御する制御部である。また２３は各種情報を記憶する記憶部である。この記憶部には、本実施形態においては、入力装置２に備えられた各ボタンの識別子が記録されている。また２４は動作通知処理部であり、本実施形態においては押下されたボタンの識別子を信号により制御サーバ１へ送信する処理を行なう。
【００１６】
またＨＭＤ３において、符号３１は通信ネットワークを介して他の装置と情報を送受信する通信処理部である。また３２はＨＭＤ３の各処理部を制御する制御部である。また３３は各種情報を記憶する記憶部である。３４は撮影の処理を行なう撮影部である。また３５は撮影画像を表示処理する表示部（撮影画像表示手段、入力補助画像合成手段）である。
【００１７】
そして、本実施形態においては、制御サーバ１が、入力装置２に与えられた動作の種別の情報を当該入力装置から受信、または当該入力装置を撮影しているＨＭＤ３から受信した入力装置の撮影画像より認識する。そして、その動作種別の情報に対応する制御情報を、制御対象装置４へ送信し、当該制御対象装置４を制御する。
【００１８】
次にデータベースの記憶する各テーブルについて説明する。
図２は登録制御テーブルを示す図である。
図２が示すように登録制御テーブルは、ユーザからの登録により、制御対象装置４と入力装置２とＨＭＤ３の各識別情報が対応付けて記録される。
また図３は制御情報特定テーブルを示す図である。
図３が示すように、制御情報特定テーブルには、制御対象装置４と入力装置２の識別情報に対応付けられて、入力装置の動作種別（例えば入力装置のボタンの識別子によって動作種別が判定できる）とその動作種別に対応する制御対象装置４の制御情報（制御対象装置４へ送信するコマンドなど）が対応付けられて記録される。なお制御対象装置４だけでなくＨＭＤ３自体を制御する制御情報であってもよい。
また図４は入力補助画像特定テーブルを示す図である。
図４が示すように、入力補助画像特定テーブルには、制御対象装置４と入力装置２の識別情報に対応付けられて、制御対象装置４を制御する際に、ＨＭＤ３の表示部３５を確認しながらユーザが入力装置２に加える動作を補助するための、入力補助画像を記憶している。
【００１９】
図５は入力制御システムの処理フローを示す図である。
次に、図５を用いて、本実施形態による入力制御システムの処理について説明する。
まず、ユーザは、入力装置２の識別情報と制御を行なう制御対象装置４の識別情報を制御サーバ１に登録する（ステップＳ１）。例えば、ユーザがＨＭＤ３に備えられた入力部から、入力装置２の識別情報と制御対象装置４の識別情報入力し、当該ＨＭＤ３の制御部３２が制御サーバ１にその入力された各識別情報と自装置（ＨＭＤ３）の識別情報を送信する処理を行なうことによって、それら３つの各識別情報が、データベース１３に対応付けられて記録される（図２の登録テーブル）。ここで識別情報とは各装置のＩＤでもよいし、例えばＩＰアドレスやネームアドレスなどでもよい。
【００２０】
次に、制御サーバ１は、登録された入力装置２と制御対象装置４の各識別情報に対応付けられてデータベース１３の制御情報特定テーブルに記録されている動作種別とそれに対応する制御情報のマッピングの情報を読み取って、メモリなどに記憶する（ステップＳ２）。そして、制御サーバ１の制御部２は入力装置またはＨＭＤ３からの情報の受信を待機する。
【００２１】
一方、ユーザはＨＭＤ３に備えられたカメラで入力装置２を撮影し撮影部３４が画像を生成する（ステップＳ３）。これにより表示部３５はその入力装置の撮影画像を表示する（ステップＳ４）。また、ＨＭＤ３の制御部３２は撮影画像のデータを制御サーバ１へ送信するよう通信処理部３１に指示し、通信処理部３１が入力装置２の撮影画像データを制御サーバ１へ送信する。以降、ＨＭＤ３からは常時、ストリーミングの撮影画像配信方法などを利用して制御サーバ１へ撮影した入力装置２の撮影画像データを送信する（ステップＳ５）。
【００２２】
制御サーバ１では、入力装置２の撮影画像データを受信すると、撮影画像データが入力装置か否かを予め記憶している画像と比較するなどして判定し、制御部１２が当該撮影画像データに基づいて、入力装置２の所定の面におけるベクトルの方向やカメラに対する角度を計算する。そして、制御部１２は予めユーザから入力されている入力装置２と制御対象装置４に対応付けられてデータベース１３の入力補助画像特定テーブルから、制御対象装置４を制御する際にＨＭＤ３の表示部３５を確認しながらユーザが入力装置２に加える動作を補助するための、入力補助画像を読み取る（ステップＳ６）。そして、制御部１２は、入力装置２の所定の面におけるベクトルの方向やカメラに対する角度に基づいて、入力補助画像をその入力装置２に合成できるように補正する（ステップＳ７）。つまり、入力補助画像のベクトルを３Ｄモデリング処理などを利用して、カメラで撮影されている入力装置２の向きや角度に合わせる処理を行なう。そして制御サーバ１の通信処理部１１が補正された入力補助画像をＨＭＤ３へ送信する（ステップＳ８）。なお、ＨＭＤ３からの撮影画像のストリーミングによる送信に応じて、撮影画像が変形するので、制御サーバ１の制御部１２は所定の時間間隔で上記入力補助画像の補正の処理を行なう処理を繰り返す。
【００２３】
次に、ＨＭＤ３が入力補助画像を受信すると、制御部３２は既に表示部３５に表示されている入力装置２の撮影画像に、当該受信した入力補助画像を合成して表示部３５に表示する（ステップＳ９）。ユーザはＨＭＤ３の表示部３５に表示された入力補助画像を見ながら、入力装置２のボタンを押下する（ステップＳ１０）。例えば制御対象装置４がエアコンの場合、入力補助画像が入力装置２の４つのボタンにそれぞれに、温度の「上がる」、「下がる」、風量の「大」、「小」の４つの意味付けをしている場合には、その温度や風量の入力補助画像の各ボタンの意味に応じて、ユーザがボタンを押下する。すると、入力装置２の動作通知処理部２４は押下されたボタンの識別子などを記憶部２３から読み取って、そして、当該ボタンの識別子を通信処理部２１が通信ネットワークを介して制御サーバ１へ送信する（ステップＳ１１）。これにより、入力装置２に与えられた動作種別が制御サーバ１へ通知される。
【００２４】
次に、制御サーバ１がボタンＡの識別子を受信する。すると動作種別認識部１４が、ボタンＡの識別子に対応してメモリに記録した動作種別と制御情報のマッピングから制御情報を読み取る（ステップＳ１２）。なお、マッピング情報を予めメモリに保持するのではなく、データベース１３の制御情報特定テーブルから直接読み取るようにしても良い。そして、制御情報送信処理部１５が当該制御情報を制御対象装置４へ送信する処理を行なう（ステップＳ１３）。これにより、通信処理部１１から制御対象装置４へ制御情報が送信される。そして、制御対象装置４は制御情報に基づいて、制御処理を行なう（ステップＳ１４）。例えば制御対象装置がエアコンである場合には、制御情報は、温度の「上がる」、「下がる」、風量の「大」、「小」を示す情報であり、この情報に基づいて、エアコンが自装置の、温度の「上がる」、「下がる」、風量の「大」、「小」を調節処理する。
【００２５】
以上の処理により、ユーザは遠隔より制御対象装置４を制御することができる。また、入力装置が、所定の場所に予め設置されており、当該入力装置でユーザが希望する任意の制御対象装置４を制御するような場合において、当該任意の制御対象装置４の入力補助画像を利用しながら、制御対象装置４を制御できるようになる。例えば、応用例として、遠隔からの医療器具操作などにおいて、入力装置２が多くの機種の医療機器（例えばメーカの異なる医療機器）に対応する入力装置となっており、ヘッドマウントディスプレイを用いて、医者の希望するメーカの医療機器に対応する入力補助画像を表示部に表示させて、医療行為を行なうなどの例がある。本実施形態においては、制御サーバ１とヘッドマウントディスプレイ３が通信ネットワークで接続されている形態について説明したが、制御サーバ１とヘッドマウントディスプレイ３とが一体となっていてもよい。また、ヘッドマウントディスプレイ３を用いることによって、携帯端末などの表示部の制限がなくなり、ユーザの視野全体にあたかも入力装置２の入力補助画像を合成して表示することができる。
【００２６】
図６は入力補助画像の他の例を示す図である。
この図の入力補助画像は、テレビが制御対象装置４である場合の入力補助画像である。例えば入力装置２にボタンが５つ在る場合、それぞれに電源、チャンネル（ｃｈ）、音量、入力切替（入力）、タイマの意味付けがされている。そして音量のボタンをユーザが押下すると、入力装置２は、そのボタンに応じた識別子を制御サーバ１へ送信する。制御サーバ１では、受信した識別子に対応する制御情報を予めメモリに記憶させたマッピングの情報から読み取る。ここで、制御情報が自装置に新たな入力画像を送信させるコマンドだとすると、そのコマンドにより制御サーバ１は音量を入力するための入力補助画像を新たにデータベース１３から読み取り、その入力補助画像をＨＭＤ３へ送信する。この入力補助画像は、例えば音量の小、大、ミュートをボタンに意味付けする画像である。そして、小、大、ミュートのいずれかのボタンをユーザ入力装置２で押下することにより、そのボタンの識別子が制御サーバ１へ送信され、上記同様に、制御対象装置４となるテレビが音量を調節する処理を行なう。
【００２７】
図７は入力装置の画像の変化に応じて動作種別を認識する際の処理を示す概要図である。
入力装置２に入力された情報が入力装置２から制御サーバ１に送信されて、その入力装置から送信された情報に基づいて、制御対象装置４の動作種別を認識する際の例については上述したが、本実施形態の入力制御システムにおいては、入力装置２の撮影画像における変化に応じて動作種別を認識するようにしても良い。
例えば、図７の（ａ）に示すように、入力装置に対応する入力補助画像が回転式チャンネルの画像であるとする。この図で示すような入力装置（図７においてはペン）をユーザが所定の角度回転させる（入力補助画像の矢印の方向に合わせて回転させる）。すると、その撮影画像が、制御サーバ１へ送信される。制御サーバ１の制御部１２では、上述したように、撮影画像における入力装置２の所定の面におけるベクトルの方向やカメラに対する角度を計算している。そして入力装置の回転角度を動作種別として、その回転角度に対応する制御情報をマッピング情報から読み取って、制御対象装置４へ送信する。つまり制御部１２は、撮影画像の基準時刻からの変化に基づいてその入力装置の動作種別を認識する。これにより、入力装置２の画像の変化に応じて制御対象装置４を制御することができる。また入力装置の動きの変化によっても制御対象装置４を制御することができるので、例えば、身近にある様々な物体を入力装置の代わりとして利用することもできる。
【００２８】
またこの例は例えば、ペン先の軌跡により文字などを入力する例にも応用することができる＜図７の（ｂ）＞。ペンの軌跡を認識する場合の処理としては、まず、ユーザが入力装置のボタンを継続して押下する。するとボタンの識別子がボタンの押下中、複数回にわたって制御サーバ１に送信される。これにより制御サーバ１はペンの軌跡の入力と判断し、ボタンが押下されている間の、入力装置の画像の軌跡の変化に応じて、その軌跡を解析する。そして、これにより、例えば軌跡の情報を制御対象装置４に送信することで、制御対象装置４では軌跡を表示部に表示する処理を行なう。
【００２９】
図８は入力装置の所定の面におけるベクトルの方向を決定する為のマークを示す図である。
図８で示すように入力装置には、例えば、３箇所に黒丸のマークがつけられ、このマークの位置や間隔によって、入力装置の所定の面におけるベクトルの方向を制御サーバ１の制御部１２が計算する。なお、黒丸のマークでなくても、入力装置の所定の面におけるベクトルの方向を決定できる標識が入力装置につけられていればよい。
【００３０】
図９は入力装置の動きの誤認を認識する為の処理の概要を示す図である。
入力装置２の動きをカメラの撮影画像画像で認識する場合、カメラ側の動きが入力装置２の動きとして誤認識することが考えられるが、その誤認識をなくす（軽減させる）必要がある。従って、カメラの相対位置を把握する処理として、撮影対象の入力装置２の近傍にある動くことのないマークを探し出し（或いはサービス側ディスプレイでマークを表示するなど）、それを定点とし、その定点を基準に入力装置の動きを計算するようにすれば、ある程度、カメラのブレによる誤認識は減少する。この時、定点の撮影画像内の座標と入力装置２の画像内の座標に基づいて、計算を行うこととなる。但し、定点と入力装置２の距離は短くする必要がある。長くすれば認識率は下がる。
【００３１】
上述の制御サーバ１、入力装置２、ヘッドマウントディスプレイ３、制御対象装置４は内部に、コンピュータシステムを有している。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００３２】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施形態による入力制御システムの構成を示すブロック図である。
【図２】本実施形態による登録制御テーブルを示す図である。
【図３】本実施形態による制御情報特定テーブルを示す図である。
【図４】本実施形態による入力補助画像特定テーブルを示す図である。
【図５】本実施形態による入力制御システムの処理フローを示す図である。
【図６】本実施形態による入力補助画像の他の例を示す図である。
【図７】本実施形態による入力装置の画像の変化に応じて動作種別を認識する際の処理を示す概要図である。
【図８】本実施形態による入力装置の所定の面におけるベクトルの方向を決定する為のマークを示す図である。
【図９】本実施形態による入力装置の動きの誤認を認識する為の処理の概要を示す図である。
【符号の説明】
【００３４】
１・・・制御サーバ、２・・・入力装置、３・・・ヘッドマウントディスプレイ（ＨＭＤ）、４・・・制御対象装置
【図１】
2006222622.tif 000003
【図２】
2006222622.tif 000004
【図３】
2006222622.tif 000005
【図４】
2006222622.tif 000006
【図５】
2006222622.tif 000007
【図６】
2006222622.tif 000008
【図７】
2006222622.tif 000009
【図８】
2006222622.tif 000010
【図９】
2006222622.tif 000011