(57)【要約】【課題】身近にある物体を用いて機器の操作を可能とする遠隔操作装置を提供する。【解決手段】あらかじめ設定された特定の物体を入力装置として、前記入力装置に対する操作者の動作に依存して制御対象装置を操作する遠隔操作装置であって、前記入力装置に対する操作動作を検出する操作動作検出部と、前記操作動作検出部が検出した操作動作の内容と、予め設定されている前記操作動作の内容と前記制御対象装置を操作する内容との対応関係と、に基づいて、対応する前記制御対象装置への操作の内容を求める制御情報読み出し部と、前記制御情報読み出し部が読み出した制御情報を前記制御対象機器に送信する制御情報送信部と、を有することを特徴とする遠隔操作装置。【選択図】図１Ａ
2013172211.tif 000002
【特許請求の範囲】
【請求項１】
あらかじめ設定された特定の物体を入力装置として、前記入力装置に対する操作者の動作に依存して制御対象装置を操作する遠隔操作装置であって、
前記入力装置に対する操作動作を検出する操作動作検出部と、
前記操作動作検出部が検出した操作動作の内容と、予め設定されている前記操作動作の内容と前記制御対象装置を操作する内容との対応関係と、に基づいて、対応する前記制御対象装置への操作の内容を求める制御情報読み出し部と、
前記制御情報読み出し部が読み出した制御情報を前記制御対象機器に送信する制御情報送信部と
を有することを特徴とする遠隔操作装置。
【請求項２】
前記操作動作検出部は、
物体までの距離情報を取得するための距離情報取得部を有し、
前記距離情報を用いて前記物体の形状を認識し、前記物体の形状に基づいて、前記あらかじめ設定された入力装置を検出することを特徴とする請求項１に記載の遠隔操作装置。
【請求項３】
前記操作動作検出部は、
物体までの距離情報を取得するための距離情報取得部と、
前記物体の映像情報を取得するための映像取得部とを有し、
前記距離情報を用いて前記物体の形状を認識し、前記物体の形状と前記映像情報との両方に基づいて、前記あらかじめ設定された入力装置を検出することを特徴とする請求項１に記載の遠隔操作装置。
【請求項４】
前記操作動作検出部は、
前記距離情報取得部を用いて操作者の手・指までの距離情報を取得し、
前記特定の物体までの距離情報と前記操作者の手・指までの距離情報との両方を用いて、前記操作動作の検出を行うことを特徴とする、請求項２または請求項３のいずれか１項に記載の遠隔操作装置。
【請求項５】
前記操作動作検出部は、
前記特定の物体への接触の内容を検出し、
予め設定されている前記操作動作の内容と前記操作動作検出部の検出した接触の内容とに基づいて対応する操作動作の内容を求めることを特徴とする、請求項１から４までのいずれか１項に記載の遠隔操作装置。
【請求項６】
前記接触の内容は、特定の物体と操作者の手・指との相対位置の時間変化又はその軌跡とであることを特徴とする請求項５に記載の遠隔操作装置。
【請求項７】
さらに、
前記入力装置の静止状態を検出する入力装置静止検出部を有し、
前記入力装置静止検出部は、
前記特定の物体が静止状態にあるか否かを判断し、静止状態にない場合は、
前記操作動作検出部の検出結果にかかわらず操作動作ではないと判断することを特徴とする、請求項１から６までのいずれか１項に記載の遠隔操作装置。
【請求項８】
前記距離情報取得部は、少なくとも２つ以上の映像取得部を有し、前記映像取得部からから得られた複数の映像情報から距離情報を推定することを特徴とする、請求項２から７までのいずれか１項に記載の遠隔操作装置。
【請求項９】
請求項１から８までのいずれか１項に記載の遠隔操作装置を有し、
前記遠隔操作装置は、前記特定の物体を用い、或いは、前記特定の物体に代えて媒体上に描画又は表示された図形を用いることを特徴とする遠隔操作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、任意の物体に対して行う動作によって所定の機器を操作する遠隔操作技術に関する。
【背景技術】
【０００２】
従来、電子機器等を離れたところから操作したいというニーズを満たすために、主にリモートコントローラー（以下「リモコン」と称する。）が用いられてきた。リモコンは、ボタンを押すだけという非常に少ない労力で操作が可能であるという大きなメリットを持っているが、リモコンの置き場所がわからなくなってしまい、操作ができないという状態にしばしば陥るという問題がある。
【０００３】
この問題を解決するために、紛失する心配がない操作者の手自体を用い、ジェスチャーにより操作を行う手法が提案されている（下記特許文献１参照）。
【０００４】
また、撮影装置を用いて取得した身近にある任意の物体の時間的な位置変化や角度変化を、操作に用いるという手法も提案されている（下記特許文献２参照）。この手法によれば、触覚的なフィードバックが得られないという問題は解決することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−５９７５号公報
【特許文献２】特開２００６−２２２６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術に用いるジェスチャー入力では、概して操作者は手を大きく動かす必要があり、また日常的な動作としての手の動きによる誤入力を防ぐために、操作を行うにあたって特殊な動作を要するなど、リモコンと比較して大きな動作を必要とし、狭い場所での操作が難しい上に、操作自体も煩わしさを感じやすかった。また操作に対して触覚的なフィードバックを得られないことから、操作できているかどうかを確認することが難しかった。
【０００７】
また、特許文献２に記載の技術では、入力装置として用いる物体自体を動かす必要があり、リモコンの操作に比べると大きな動作が求められるという点に関しては解決されていない。さらに、身近にあるものでも、サイズの大きなものや重いものは、実用上入力装置に使えなかった。
【０００８】
本発明は、リモコンのように数が限られた共有の専用機器ではなく、身近に存在しユーザが自由に用いることができる物体を用いて、機器の操作を可能とする遠隔操作技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一観点によれば、あらかじめ設定された特定の物体を入力装置として、前記入力装置に対する操作者の動作に依存して制御対象装置を操作する遠隔操作装置であって、前記入力装置に対する操作動作を検出する操作動作検出部と、前記操作動作検出部が検出した操作動作の内容と、予め設定されている前記操作動作の内容と前記制御対象装置を操作する内容との対応関係と、に基づいて、対応する前記制御対象装置への操作の内容を求める制御情報読み出し部と、前記制御情報読み出し部が読み出した制御情報を前記制御対象機器に送信する制御情報送信部と、を有することを特徴とする遠隔操作装置が提供される。
【００１０】
前記特定の物体までの距離情報を取得するための距離情報取得部を有し、前記操作動作検出部は、前記距離情報を用いて前記特定の物体の形状を認識し、前記特定の物体の形状に基づいて前記入力装置に対する操作動作の検出を行うことが好ましい。
【００１１】
さらに、前記特定の物体の映像情報を取得するための映像取得部を有し、前記操作動作検出部は、前記物体の形状と前記映像情報との両方を用いて、前記操作動作の検出を行うようにしても良い。
【００１２】
また、前記操作動作検出部は、前記特定の物体への接触の内容を検出し、予め設定されている前記操作動作の内容と前記操作動作検出部の検出した接触の内容とに基づいて対応する操作動作の内容を求めることが好ましい。
【００１３】
前記動作の内容は、特定の物体とユーザの手・指との相対位置の時間変化又はその軌跡とであることが好ましい。
【００１４】
さらに、前記入力装置の静止状態を検出する入力装置静止検出部を有し、前記入力装置静止検出部は、前記特定の物体が静止状態にあるか否かを判断し、静止状態にない場合は、前記操作動作検出部の検出結果にかかわらず操作動作ではないと判断するが好ましい。
【００１５】
また、前記操作動作検出部は、前記距離情報と前記映像情報との両方を用いて、操作動作を検出するようにしても良い。
【００１６】
前記距離情報取得部は、少なくとも２つ以上の映像取得部を有し、前記映像取得部からから得られた複数の映像情報から距離情報を推定することが好ましい。
【００１７】
また、本発明は、さらに、上記のいずれかに記載の入力装置を有し、前記入力装置は、前記特定の物体を用い、或いは、前記特定の物体に代えて媒体上に描画又は表示された図形を用いることを特徴とする遠隔装置システムである。
【発明の効果】
【００１８】
本発明によれば、身近にある物体に触れるという動作によって、機器の操作を行うことができる。また機器の操作ではない物体本来の用途で使用する際に誤動作してしまうことを防ぐことができる。
【図面の簡単な説明】
【００１９】
【図１Ａ】本発明の第１の実施形態に係る遠隔操作システムの一構成例を示す機能ブロック図である。
【図１Ｂ】遠隔操作システムのうち、入力装置登録部の一構成例を示す機能ブロック図である。
【図１Ｃ】遠隔操作システムのうち、操作内容登録部の一構成例を示す機能ブロック図である。
【図１Ｄ】遠隔操作システムのうち、動作検出部の一構成例を示す機能ブロック図である。
【図２】本発明の第１の実施形態に係る遠隔操作システムの構成例を示す外観図である。
【図３】本発明の第１の実施形態に係る入力装置を登録する際の処理の流れを表すフローチャート図である。
【図４】本発明の第１の実施形態に係る操作動作識別テーブルの例を示す図である。
【図５】本発明の第１の実施形態に係る制御情報識別テーブルの例を示す図である。
【図６】本発明の第１の実施形態に係る機器を操作する際の処理の流れを表すフローチャート図である。
【図７】本発明の第２の実施形態に係る入力装置として用いる図形の一例を示す図である。
【図８】本発明の第２の実施形態に係る操作動作識別テーブルの一例を示す図である。
【図９】本発明の第３の実施形態に係る操作動作識別テーブルの一例を示す図である。
【発明を実施するための形態】
【００２０】
以下、添付図面を参照しながら、本発明に係る遠隔操作システムの好適な実施の形態について詳細に説明する。
【００２１】
本明細書において、動作とは、本発明における遠隔操作装置が捉えるユーザの動き一般を称し、例えば、タップ、スワイプなどの操作のための指の動きなどを含むが、必ずしも機器制御を目的としない。
【００２２】
制御とは、対象機器の状態を変更させるために行われる、機器内部での処理を指し、例えば、テレビをオン、オフするなどの処理を指す。
【００２３】
操作とは、制御を引き起こすために機器の外側から与えられる行為を指し、例えば、リモコンを機器に向けてボタンを押す、機器に備え付けられたボタンを押すなどの行為を指す。
【００２４】
操作動作とは、一般的には機器制御とは無関係な動作に過ぎないが、本発明における遠隔操作装置を用いることによって、操作として扱うことが可能となる、機器制御を目的として入力装置に対して行う、特別な動作を指し、図８、図９などで例示されている。
【００２５】
（第１の実施形態）
本発明の第１の実施形態について、図面を参照しながら説明する。図１Ａは、本発明の第１の実施形態に係る遠隔操作システムの構成例を示すブロック図である。図１Ｂは、遠隔操作システムのうち、入力装置登録部の一構成例を示す機能ブロック図である。図１Ｃは、遠隔操作システムのうち、操作内容登録部の一構成例を示す機能ブロック図である。図１Ｄは、遠隔操作システムのうち、動作検出部の一構成例を示す機能ブロック図である。図２は、図１Ａのブロック図の一部を具体的な外観イメージ例として表した図面であり、図中の番号は図１Ａと対応させて付している。
【００２６】
図１Ａに示すように、本実施形態による遠隔操作システムＡは、入力装置１００と、遠隔操作装置Ｂと、を含み、制御対象機器１０３を制御する例を示す。遠隔操作装置Ｂは、動作検出装置１０１と、制御信号送信装置１０２と、制御部１０１ｃと、メモリ１０１ｄと、を有している。動作検出装置１０１は、入力装置１００、又は入力装置１００とその周囲の映像および距離情報を取得するカメラなどから成る撮影部１０１ａと、撮影部１０１ａによって得られた映像と距離情報とから操作者１００ａの動作を検出する動作検出部１０１ｂと、を有する。制御信号送信装置１０２は、動作検出装置１０１によって検出された動作に対応する操作の制御信号を読み出し、制御信号を制御対象機器１０３へと送信する。制御部１０１ｃは、入力装置登録部１と操作内容登録部３とを有し、メモリ１０１ｄは、後述するテーブルを格納するテーブル格納部５を有しており、また、制御部１０１ｃに、各種の処理を実行させるプログラムを格納するのが一般的である。制御対象機器１０３は、ここではテレビジョン受信装置（以下「テレビ」と称する。）を例示しており、テレビをリモコンで操作する場合と同様の制御が行われる様子を以下に説明する。
【００２７】
図１Ｂは、入力装置登録部１の一構成例を示す機能ブロック図であり、入力装置１００を検出する入力装置検出部１−１と、入力装置１００を認識する入力装置認識部１−２と、機器操作に利用可能な動作を設定する動作種類設定部１−３と、入力装置の登録を行う入力装置登録処理部１−４と、を有している。
【００２８】
操作内容登録部３は、入力装置１００の指定を行う入力装置指定部３−１と、操作動作の指定を行う操作動作指定部３−２と、対応する動作を選択する対応操作選択部３−３と、設定内容を登録する設定内容登録部３−４と、表示部３−５を有している。
【００２９】
図１Ｄは、動作検出部１０１ｂの一構成例を示す機能ブロック図である。動作検出部１０１ｂは、映像・距離情報取得部１１と、入力装置及び操作準備検出部１２と、入力装置動き検出部１３と、操作動作検出部１４と、登録済み動作比較部１５と、入力装置静止検出部１６と、動作情報読み出し部１７と、動作情報送信部（指示部）１８と、を有している。
【００３０】
図２に示すように、本実施の形態による遠隔操作装置Ｂを含む遠隔操作システムにおいて、入力装置（被写体）１００は、入力動作を行う対象となる任意の物体であり、本実施形態では、チューイングガムのボトルを例にして以下に説明する。入力装置１００は、例えば、被写体ではないテーブル１１０の上に置かれている。制御対象機器１０３は、操作の対象となる例えば家電機器であり、本実施形態では、テレビである。図１Ａでは、便宜上、遠隔操作装置Ｂと制御対象機器１０３が別々に描いているが、本実施形態では制御対象機器１０３に、動作検出装置１０１と制御信号送信装置１０２とがあらかじめ組み込まれている例について説明する。その他の入力装置として既存のリモコン１０７を用いることもできる。ここでは、テレビ１０３に取り付けられている撮影部（カメラ）１０１ａが、入力装置１００を撮影できる位置に設けられている。
【００３１】
入力装置の登録処理について、図３のフローチャート図を参照しながら説明する。最初に遠隔操作装置Ｂを登録用のモードへ移行させる。登録用のモードへの移行を行う操作は、遠隔操作装置Ｂが制御対象機器１０３に組み込まれているため、従来と同様にリモコン１０７を使用することができる。さらにリモコン１０７を操作して処理を開始し、ステップＳ０で入力装置登録を選択し、入力装置登録のフローへ移行する。
【００３２】
続くステップＳ１では、入力装置検出部１−１が、入力装置を検出する。まず入力装置１００を取り除いた状態の周囲にあるテーブル１１０を動作検出装置１０１の撮影部１０１ａで撮影する。入力装置登録時に、撮影映像は制御対象機器１０３の画面上に随時表示されていることが好ましい。画面を確認して問題なければ、リモコン１０７を操作し、続いて入力装置１００をテーブル１１０の上に置いた状態を撮影部１０１ａで撮影する。テーブル１１０の画像とテーブルと入力装置１００とテーブル１１０との画像の２つの撮影画像の差分から、入力装置１００が特定され、画面に表示される。入力装置１００が正しく特定されたことを確認した後にリモコン１０７を操作して次のステップへ進む。この時点で入力装置１００には、他の登録された入力装置と区別するための一意の識別情報（識別子、ＩＤ）が与えられる。
【００３３】
ステップＳ２では、入力装置認識部１−２が、ステップＳ１で検出された入力装置１００を例えば回転させて撮影することで、入力装置１００の大きさと形状とを認識する。撮影部１０１ａには映像だけでなく、距離情報を取得する測距機能があるため、映像内の任意の点に関してカメラの光軸方向の距離を知ることができる。また、撮影部１０１ａのレンズの画角や焦点距離などのカメラパラメータを利用すると、カメラの光軸に垂直な平面を撮影した際、撮影映像におけるある画素数の長さが、実際の平面上でいくつの距離に相当するかを求めることができる。
【００３４】
従って、映像内の任意の点に関して、カメラの光軸に垂直な平面上での距離（ｘ軸、ｙ軸）と、カメラの光軸方向の距離（ｚ軸）とがわかり、カメラを基準にしたｘｙｚ空間における三次元座標を決定することができる。そのため、入力装置１００の各部位の絶対的な大きさや形状を得ることが可能である。
【００３５】
さらに、入力装置を水平方向に一周ずつ回しながら撮影することによって、撮影における死角を少なくして、実際の操作時に動作検出装置１０１が入力装置１００を見失ってしまう可能性を軽減するとともに、予め用意した形状テンプレートと比較することにより、入力装置が円柱であるのか直方体であるのかなどの形状の認識処理を行うことが可能である。
【００３６】
ここで、映像情報と距離情報の両方を取得できるカメラの構成について説明する。そのようなカメラの構成方法は大きく二つに分けられる。一つは映像情報と距離情報を異なるセンサを用いて取得方法であり、もう一つは複数の映像情報を取得し、得られた複数の映像情報から距離情報を推定する方法である。どちらの場合においても、映像情報の取得には、一般的なＣＭＯＳイメージセンサやＣＣＤイメージセンサを用いることが出来る。一方の距離情報を別途取得する方法はいくつかあるが、代表的なものとしては、赤外のパルス光を被写体に照射し、その反射光におけるパルスの位相遅れを計測することで距離を求めるＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）法や、赤外レーザーによる幾何パターンを照射し、被写体上におけるパターンの歪みから距離を求める方法がある。複数の映像情報からの距離情報推定については、並行配置した二台のカメラによる撮影画像に対してステレオマッチングを行って、カメラ間で対応する点が撮影画像上でどれだけ離れているかを求め、カメラパラメータを用いてそれを距離に変換する方法が挙げられる。距離を取得する方法にいずれを用いても本発明の効果を得ることが可能であるが、距離の分解能や精度が高い程、本発明による動作の検出精度もまた向上する。なお、レンズ歪等の影響が撮影画像に残っている場合、画面中央に比べて周囲では映像が圧縮されてしまうことで物体の長さを求める際の誤差を生むため、十分な歪補正を行なっておくことが望ましい。
【００３７】
ＴＯＦ法などを用いるために映像用のセンサと距離情報用のセンサを利用した場合、距離精度そのものは距離情報用センサの能力に依存するが、その距離情報が映像のどの座標の被写体のものであるか正しく対応をとることが難しい。２つのセンサの光学的な特性が異なるため画角等を正確に合わせるのが困難であることに加え、２つのセンサ間で視差が存在することによって、ある座標の距離情報が映像のどの座標の被写体のものであるかを求めることは出来てもその関係が上への１対１ではないので、映像の座標に対応する距離情報が複数現れたり、該当する距離情報がなかったりしてしまうからである。
【００３８】
可能な限り、各センサの光学的な特性を合わせ、ハーフミラーを用いて入力に視差が生じないようにするなどして、映像と距離情報との間での座標のずれがあまり生じないようにしておくことが望ましい。
【００３９】
一方、ステレオマッチングを用いて距離情報を推定する場合は、ステレオマッチングの原理上、映像内の任意の座標に対して、その座標に映った被写体までの距離を求めることになるため、このような映像と距離情報との間での座標のずれはあまり考慮しなくてもよいが、距離情報の精度に影響するため、ステレオマッチングに用いるカメラは特性が近いものを用い、キャリブレーションによってカメラ間で光軸が平行になるようにしておくことが望ましい。
【００４０】
ここで、入力装置１００の絶対的な大きさや形状を求めた理由は、対象を限定しない物体の認識は本来困難であるが、この認識を容易に行うためである。物体認識技術の多くは、認識される物体を区別可能とする特徴的な要素があらかじめわかっていることを前提としている。例えば、人の顔の認識であれば顔全体の形、肌の色、目や鼻や口の相対的な位置関係などを拠り所にして、映像から人の顔である可能性の高い物体を探す。しかしながら、本実施形態では、入力装置を限定していないため、あらかじめ映像としての特徴的な要素がわかっているわけではなく、したがって映像としての情報のみで特定の物体を認識することは非常に難しい。しかし、物体の大きさや形状の情報は、それ自体がその物体を他の物体等と区別する特徴的な要素である。例えば、似た形状、似た色であるが大きさが異なる２つの物体は、画像としての情報だけではその２つを判別することは困難であるが、大きさの情報があれば容易に区別することができる。あるいは同じ形状で色違いの２つの物体があった場合、大きさや形状の情報だけではこの２つを区別することができないが、画像としての情報を用いると容易に区別することができる。このように画像としての情報と、大きさや形状の情報とを組み合わせて用いることで、認識の難易度を大幅に低下させることが可能である。
【００４１】
続く、ステップＳ３では、操作者１００ａが登録した入力装置１００に対して行うどのような動作が機器操作のための特別な動作、すなわち操作動作であるかの定義を動作種類設定部１−３が行う。本実施形態では、入力装置１００に対する接触を用いた操作動作の例として、タップ、スワイプ、トレースについて以下で説明する。
【００４２】
入力装置１００との接触を判定するので、操作者１００ａの手についても検出する必要がある。しかし、手は色や形状などの個人差が比較的少ないため、その代表的なパターンをテンプレートとして持っておき、撮影映像内の動体をテンプレートと比較することで比較的容易に検出することが可能である。入力装置１００に操作者の手を触れ、すぐに手を離す動作をタップと呼ぶ。タップを検出するには、操作者の手と入力装置１００とが撮影映像において重なっていることと、その２つの距離情報がほぼ一致していることを検出すればよい。この２つを検出の条件とすることで、距離が離れているのに画像上では重なって見える場合を除外して、誤操作を減らすことができる。
【００４３】
ここで、距離情報の一致について補足する。操作者１００ａの手と入力装置１００とが接触していて、かつ、接触部分が撮影部１０１ａから撮影できている場合であれば、距離情報がほぼ一致するが、接触部分が手によって遮られている場合もありうる。この場合は、撮影部１０１ａから見た手の厚さの分だけ、手と入力装置１００とでは距離情報に差が出てしまう。そのため、手の厚さおよび撮影部１０１ａから見込んだ角度に応じて手の厚さが変化することを考慮して、手と入力装置１００との距離情報の差が一定値以下であれば接触しているとみなすようにすることが望ましい。その際の距離情報の差のしきい値は、手を使って触れる場合であれば、例えば２〜３ｃｍ程度が適当である。なお、距離情報の分解能や精度が不十分な場合には、さらに大きな値としても良い。また、接触の判定を入力装置に触れた瞬間に行うのではなく、離したときに入力装置１００が動いていないかという判断も加えて行うことで、操作を行ったのか単に持ち上げるために触れたのかを区別し、操作目的でない場合の誤認識を防止することが可能となる。操作のために触れたと判定する接触時間に下限や上限を設けることもまた誤認識の防止に有効である。また、タップする位置によって異なる操作動作として設定することもできる。
【００４４】
例えば、入力装置１００であるチューイングガムのボトルの上面と側面とで異なる操作動作とすることや、あるいは、ボトルの側面についても撮影部１００ａから見て右側からのタップなのか左側からのタップなのかでそれぞれ異なる操作動作として設定することもできる。また、タップを続けて複数回行った場合を区別し、行った回数によってシングルタップ、ダブルタップ、トリプルタップのように異なる操作動作として設定することも出来る。
【００４５】
タップと同様の方法で、スワイプを検出することも可能である。スワイプとは、手を入力装置１００の表面に触れた状態から、入力装置１００は動かさずに手だけをそのまま移動させることを指す。操作者１００ａと操作者１００ａの手との位置関係から、操作者１００ａから見た上下左右の方向を判断し、それに基づいたスワイプの方向によって異なる操作動作として設定することも可能である。
【００４６】
面に対して表面に触れながら手を移動させる動作であるスワイプと同様に、線に対してその表面に沿ってなぞるように手を移動させるという動作を利用することもできる。これをトレースと呼ぶこととする。入力装置１００の特定の縁や、入力装置１００の表面の模様の特定箇所に沿ってトレースすることもまた一つの操作動作として設定することができる。さらにトレースを時計回りに行うか反時計回りに行うかといったように、トレースの方向によって異なる操作動作として設定することもできる。
【００４７】
尚、操作動作の内容は、特定の物体とユーザの手・指などとの相対位置の時間変化又はその軌跡として捉えることができる。
【００４８】
また、本実施形態での入力装置１００であるチューイングガムのボトルを通常の用途で利用する際に行う動作を考えると、テーブルに置かれた状態のまま、あるいは持ち上げてから、ボトルが動かないようにつかんでフタを開けるという動作を行う。この通常の動作と大きく異なる動作、例えばテーブルから離さずに平行移動させる、ボトルを横に倒して転がす、といった通常の用途では用いない動作を操作動作として利用することで、通常の動作と区別し、誤動作を防ぐようにすることも可能である。
【００４９】
このような操作動作に関して、登録した入力装置で利用可能なものをこのステップで設定する。ここで設定した各操作動作に対して、図４の操作動作識別テーブルに示したような、操作動作識別情報が割り当てられる。これらの操作動作識別情報は、入力装置１００毎に設定される。続くステップＳ４では、入力装置登録処理部１−４が、ステップＳ２で得られた入力装置１００の識別のための情報と、ステップＳ３で設定された入力装置で利用可能な操作動作識別情報とを、動作検出装置１０１に登録する。
【００５０】
続いて、同じく図３を参照して、入力装置１００に対する操作動作を機器の特定の操作へと関連付ける、操作内容登録部３による操作登録について説明する。まず、リモコンを操作して、操作登録のフローへ移行する。ステップＴ１では、表示部３−５に動作検出装置１０１に登録された入力装置の一覧が表示されるので、そこから機器の操作に利用する入力装置１００を指定する。ここでは制御対象機器１０３であるテレビの画面が表示部３−５を兼ねており、テレビ１０３の画面に表示された登録済みの入力装置の一覧を見ながら、リモコン操作によって入力装置指定部３−１への指示を行う。ステップＴ２では、ステップＴ１で選択された入力装置の操作動作内容の一覧が表示部３−５に表示されるので、その中のいずれの操作動作を選択するか、リモコンを用いて操作動作内容指定部３−２に対して指示を行う。ステップＴ３では選択した操作動作に、どの制御対象機器に対してどの操作内容を設定するか、リモコンを用いて対応操作選択部３−３に対して指示を行う。制御対象機器１０３とその操作内容については、本実施形態では動作検出装置１０１が制御対象機器１０３に組み込まれているため、製品としての製造の過程ですでに制御対象機器１０３に登録済みである。ここで、あらかじめ登録されている情報のみではなく、制御対象機器のメーカー名と型番といった識別可能な情報から、インターネット上に設けられたデータベースを参照して、操作内容の一覧を取得して利用してもよい。すべての必要な操作動作の設定が終わると、設定内容登録部３−４が、ステップＴ４において、これまで設定した操作動作識別情報と制御内容との対応関係を、制御情報識別テーブルとして動作検出装置１０１に登録する。
【００５１】
図５は、ここで割り当てた操作動作識別情報（ＩＤ）と制御（動作）内容との例を示している。例えば、図４の動作識別テーブルより、入力装置１００の上面をシングルタップする動作を表す操作動作識別情報は“ＡＡ０Ａ１”で示される。図５の制御情報識別テーブルより、“ＡＡ０Ａ１”という操作動作識別情報はテレビのヘルプ表示に対応付けられているので、入力装置１００の上面をシングルタップするという動作が、テレビのヘルプ表示という制御装置の操作に割り当てられたということになる。操作動作識別情報は、動作検出装置１０１の内部データであるため、画面には表示されない。また図中に具体例を示してはいないが、制御情報についても特定の制御内容を表す識別情報の形で保存されて、のちに述べる制御信号送信装置１０２で利用される。
【００５２】
図６は、実際に入力装置１００を用いて制御対象機器１０３を操作する際の処理の流れを示すフローチャート図である。再び、リモコン１０７を操作して動作検出のモードに移行する。操作を行う際は、入力装置１００をテーブル１１０の上に置く。入力装置１００を置く場所は、必ずしも登録に用いたテーブル１１０の上である必要はなく、撮影部１００ａから撮影可能な範囲内の位置にあれば床の上などでも良い。動作検出モード時は、常に動作検出装置１０１の動作検出部１０１ｂにおける映像・距離情報取得部１１は、映像と距離情報を取得し続ける（ステップＵ１）。
【００５３】
ステップＵ２では、入力装置及び操作準備検出部１２が、登録済みの入力装置が映像内にあるかどうかの検出と、撮影画像内に手があるかどうかを検出する。ここで登録済みの入力装置と操作者の手の両方が検出された場合は、ステップＵ３へ進む。検出されなかった場合はステップＵ１に戻り、検出されるまで撮影を続ける。
【００５４】
ステップＵ３では、入力装置動き検出部１３が、検出された入力装置が静止しているかどうかを、静止状態があらかじめ設定した一定時間以上継続されているかどうかによって判断する。静止していることを確認できたら、次のステップＵ４に進む。
【００５５】
ステップＵ４では、操作動作検出部１４が、操作者の手の動きを検出し、登録済み動作比較部１５が登録済みの操作動作に一致するかどうかを判定する。一致したと判断された場合、その動作が終了した後も入力装置１００が静止しているかどうかを判別する。ここで静止状態にあるかどうかを判別する理由は、入力装置１００はチューイングガムのボトルであり、制御対象機器１０２を操作する以外にも、本来の使い方である中のチューイングガムを取り出すために利用される可能性があり、その行為の際にも登録済み操作動作に一致する動作を行う可能性があるからである。
【００５６】
このように操作目的以外でない、入力装置本来の用途で操作動作に一致する動作が行われる場合は、持ち上げられることで入力装置の位置が変化したり、ボトルのフタを開けることで形状が変化するなど、多くの場合は入力装置の状態に変化が生じる。したがって入力装置１００が静止状態にあるかどうかを入力装置静止検出部１６によって判断することによって、制御対象機器１０３を操作するために動作を行ったのか、そうでないのかを区別することが可能となり、操作目的でない動作を操作動作と判定することで生じる誤操作を防止することが出来る。操作動作後も入力装置が静止しており、操作のための動作であったと判断した場合、ステップＵ５へ進み、動作情報読み出し部１７が先の操作動作識別テーブルを参照して操作動作識別情報を取得し、動作情報送信指示部１８が、操作動作識別情報を制御信号送信装置１０２へ送り、次の操作に備えるため再びステップＵ４に戻って操作者の手の動きを監視する。ステップＵ２、Ｕ３、Ｕ４、の検出に対応して、ステップＵ７、Ｕ８、Ｕ９、Ｕ１０のそれぞれの判断ステップが設けられる。
【００５７】
制御信号送信装置１０２では、図５の制御情報識別テーブルを用いて動作情報検出装置１０１から送信された操作動作識別情報に対応する、制御対象機器１０３への制御内容を判別し、制御内容に対応した信号を制御対象機器に対して発し、制御対象機器１０３を操作する。以上により、リモコンのように数が限られた共有の専用機器にとらわれることなく、操作者の身近にある物体を用いて機器を操作することが可能となる。
【００５８】
本実施形態では、動作検出装置１０１と制御信号送信装置１０２を入力装置１００に組み込んだ例について説明したが、これらの組み込みを行わずに単体で機能するようにしてもよい。動作検出装置１０１の撮影部１０１ａと動作検出部１０１ｂについても同様に、別々に分けてもよい。
【００５９】
尚、撮影部１０１ａの設置場所は、入力装置１００を置く平面よりも上方に設置することが望ましい。そうすることで、上から見下ろすことになるため、入力装置１００があまり高さを持たない場合でも、撮影映像内での入力装置１００の面積が大きくなり、入力装置自体の認識や入力装置に対する動作の認識が行い易くなるからである。撮影装置１０１ａや制御装置１０７を部屋の天井に取り付けると部屋全体を監視できるため、制御対象機器が複数ある場合に特に有用である。
【００６０】
本実施形態では、動作の種別と動作の対象場所だけを区別していたが、操作者から見た入力装置１００の向きや表裏によって、同じ動作を異なった操作動作に割り当てて、割り当て可能な操作動作を増やしてもよい。入力装置１００の検出に関して、登録された入力装置１００と大きさが一致しない場合でも、円柱状であるか直方体であるかといった形状だけが一致していれば、入力装置１００であるとして代用できるようにしてもよい。このようにすることで、例えばコーヒーカップを入力装置として登録した場合に、登録に用いたコーヒーカップが食器洗い器の中で洗浄中であったとしても、別のコーヒーカップを用いて、登録作業をやり直すことなく操作に利用することが可能となる。
【００６１】
登録した入力装置を、一人の操作者が複数同時に利用してもよいし、複数の操作者がそれぞれ個別に利用してもよい。後者の場合、それまで機器を操作していた操作者とは異なる別の操作者が現れた場合、操作者が一人だけの場合とは異なる処理を行うようにすることもできる。例えば一人目の操作者がこれまでテレビを操作していて、後から操作を始めたもう一人の操作者がチャンネルを変更しようとした場合、チャンネルを本当に変更していいか一人目の操作者に確認する画面を出したり、元々のチャンネルも見続けられるようにテレビを二画面表示に切り替えるかという確認画面を出すといったことができる。
【００６２】
以上に説明したように、本実施形態では、身近にある物体に触れるという動作によって、機器の操作を行うことができる。また機器の操作ではない物体本来の用途で使用する際に誤動作してしまうことを防ぐこともできる。
【００６３】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、入力装置１００は、物体であったが、印刷等を行った図形等であっても良い。
【００６４】
本実施形態での入力装置１００は、プリンタ等によって幾何学図形が印刷された紙であり、換言すれば、媒体に表示した図形である。紙を入力装置に用いた場合、登録作業において入力装置の画像と距離情報を取得した際に、距離情報がほとんど変化しないことから、入力装置がほとんど厚みを持たないと判断できる。そのような場合は、入力装置である紙自体ではなく、入力装置表面の図形に対して操作動作を行うことで制御対象機器１０３の操作を行う。
【００６５】
すなわち、図７のような六芒星の図形を用いた場合、中心の六角形２００、および周辺の６つの三角形２０１〜２０６のいずれにタップを行うか、あるいは複数回のタップを何れの部分に対して行うかなどによって異なる操作動作として登録することが出来る。登録データの一例を図８の操作動作識別テーブルに示す。模様が回転していた場合でも正しく判別するために、三角形２０１だけ塗りつぶして他と区別可能にしている。また、手によるタップを正しく検出するため、操作が異なる図形の各部位は大きさが指先に対して面積が４倍以上であることが望ましい。一つの図形を幾つかの領域に分けて操作を割り当てる他にも、複数の図形を印刷しておき図形単位で操作を割り当てることもできる。
【００６６】
あるいは、距離情報によって絶対的な大きさが分かるため、全く同じ図形の大きさだけを変えたものを印刷しておき、大きさ毎に異なる操作を割り当てることもできる。もしくは色だけを変えた図形を複数印刷しておき、色によって区別してもよい。登録した図形を、制御対象機器を利用する際にいつも近くにあるイスやテーブルなどに貼りつけておくことで、操作者が入力装置として利用できる物体を何も持っていない場合でも操作を行うことができる。
【００６７】
本実施の形態によれば、実際の物体ではなく、図形などに基づいて、装置の制御を行うことができるため、より使い勝手が良いという利点がある。
【００６８】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
本実施形態での入力装置は例えばテーブルである。テーブルは、基本的に物を置くためのものであるため、テーブルの表面については特定部位に触れるということが難しい場合がしばしばあるが、テーブルの縁、すなわち、周囲空間との境界はテーブル上に置かれたものとは干渉しない独立した空間として残っている場合が多い。そのためテーブルの縁に対してトレースを行うことが可能である。
【００６９】
テーブルは大きさがある程度大きいため、人がわざわざ場所を移動することなしに触れることのできるテーブルの縁は１つか２つに限られる。そのため、どの縁に触れたかを考慮せず、全て同様に扱うようにすると良い。区別する要素としては、縁に触れたのが片手であるか両手であるか、そして手を触れて離すまでにトレースを時計回りと反時計回りのどちらの向きから始めて何度トレースの方向を反転させたか、両手で触れた場合は左右の手のトレースの向きが同じであるか反対であるかを検出するようにすることができる。このように、トレースだけで作成した動作識別テーブルの一例を図９に示す。このようにテーブルの縁だけを利用した操作動作を設定すると、テーブルの上に物がなく片付いた状態でも、色々なものがあって散らかっている状態でも、すなわち、テーブルの状態に依存せずに、同じように機器の操作を行うことができる。
【００７０】
また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
【００７１】
また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００７２】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００７３】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【産業上の利用可能性】
【００７４】
本発明は、遠隔操作システムとして利用可能である。
【符号の説明】
【００７５】
１００…入力装置、１０１…動作検出装置、１０１ａ…撮影部、１０１ｂ…動作検出部、１０２…制御信号送信装置、１０３…制御対象機器、１１０…テーブル、２００〜２０６…入力装置として扱う図形。
【図１Ａ】
2013172211.tif 000003
【図１Ｂ】
2013172211.tif 000004
【図１Ｃ】
2013172211.tif 000005
【図１Ｄ】
2013172211.tif 000006
【図２】
2013172211.tif 000007
【図３】
2013172211.tif 000008
【図４】
2013172211.tif 000009
【図５】
2013172211.tif 000010
【図６】
2013172211.tif 000011
【図７】
2013172211.tif 000012
【図８】
2013172211.tif 000013
【図９】
2013172211.tif 000014