(57)【要約】【課題】インタフェース装置から離れた位置でも操作でき、または特定のリモコン装置に縛られずに操作でき、認識精度が周囲の照光条件などで異なることがないポインティング装置を提供する。【解決手段】操作者４が手に持っている色タグ５を含む画像がカメラで撮影され、指示用タグ登録部１６を介して位置検出部１１に送られる。指示用タグ登録部１６は窓Ｗ１の領域を指定して位置検出部１１を起動し、物体位置を検出する。検出結果が、唯一の物体に定まれば近傍探索部１２を用いて定期的に物体の位置を追跡するとともに、仮のカーソル位置をインタラクションインタフェース部１５に送信する。一定時間Ｔ１秒以上の間物体が窓Ｗ１内に存在し、窓Ｗ１から出て一定時間Ｔ２秒以内に窓Ｗ２に入り、さらに一定時間Ｔ３秒以上窓Ｗ２内に滞留した場合、その物体を指示用タグと認識する。【選択図】      図１
2004272598.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレー画面に表示されたアイコンまたは物体の画像をポインティングして特定の指示または操作を指示するインタフェース装置における、操作者のポインティング操作を認識するポインティング方法であって、
与えられた領域内において、実空間内にある所定の物体の位置の検出を行う位置検出ステップと、
時間的に１つ手前の画面での物体位置の近傍を位置検出範囲として前記位置検出ステップに指示する近傍探索ステップと、
指示用タグ座標をディスプレー画面座標に変換するカーソル生成ステップと、前記インタフェース装置にカーソルデータを送信するインタラクションインタフェースステップと、
前記近傍探索ステップを用いて指示用タグを追跡し、前記カーソル生成ステップに送信するカーソル追跡ステップと、
前記位置検出ステップと前記探索ステップと前記カーソル追跡ステップを用いて、任意のタイミングで物体を指示用タグとして認識する指示用タグ登録ステップを有するポインティング方法。
【請求項２】
前記指示用タグ登録ステップは、前記物体が画面上の第１の領域にあると前記位置検出ステップで検出されると、前記近傍探索ステップを用いて前記物体の位置を定期的に検出するとともに、仮のカーソル位置を前記カーソル追跡ステップに送信し、前記物体が第１の領域を出て第２の領域に入ると前記物体を指示用タグと認識して、前記カーソル追跡ステップに指示用タグの追跡指示を送信するステップである、請求項１に記載のポインティング方法。
【請求項３】
前記指示用タグ登録ステップは、前記物体が画面上の所定の領域に検出されると、前記近傍追跡ステップを用いて、位置を定期的に検出するとともに、一定時間以上その所定の領域内に存在することにより、前記物体を指示用タグと認識して、前記カーソル追跡ステップに指示用タグの追跡指示を送信するステップである、請求項１に記載の方法。
【請求項４】
音声コマンド認識ステップさらにを有し、前記指示用タグ登録ステップは、前記物体が画面上の所定の領域に検出されると、前記近傍追跡ステップを用いて、位置を定期的に検出するとともに、音声認識コマンドによって、タグ認識コマンドが与えられた場合に、前記物体を指示用タグと認識して、前記カーソル追跡ステップに指示用タグの追跡指示を送信するステップである、請求項１に記載の方法。
【請求項５】
移動軌跡分析ステップをさらに有し、前記指示用タグ登録ステップは、前記物体が画面上の所定の領域に検出されると、前記近傍追跡ステップを用いて、位置を定期的に検出するとともに、移動軌跡分析ステップにより、簡単なジェスチャーを検出することによって、前記物体を指示用タグと認識して、前記カーソル追跡ステップに指示用タグの追跡指示を送信するステップである、請求項１に記載の方法。
【請求項６】
操作者を撮影したカメラ画像の鏡像を生成し、カーソル情報とともにインタフェース装置に送信する鏡像処理ステップをさらに有する、請求項１から５のいずれか１項に記載の方法。
【請求項７】
前記物体は、色相、彩度、明度、あるいは光の三原色の所定範囲の色を発光または反射する色タグである、請求項１から６のいずれか１項に記載の方法。
【請求項８】
前記指示用タグ登録ステップによって指示用タグが登録された後、登録時に指示用タグが実際に発光あるいは反射する色範囲の発光あるいは反射頻度を用いて、頻度の高い範囲を含む色範囲となるように所定の色範囲を縮小した色範囲を求め、その指示用タグの探索においてのみ、縮小された色範囲を用いて前記近傍探索ステップによる近傍探索を実施する、請求項７に記載の方法。
【請求項９】
前記物体がＩＤ付きタグである、請求項２から６のいずれか１項に記載の方法。
【請求項１０】
ディスプレー画面に表示されたアイコンまたは物体の画像をポインティングして特定の指示または操作を指示するインタフェース装置における、操作者のポインティング操作を認識するポインティング装置であって、
与えられた領域内において、実空間内にある所定の物体の位置の検出を行う位置検出手段と、
時間的に１つ手前の画面での物体位置の近傍を位置検出範囲として前記位置検出手段に指示する近傍探索手段と、
指示用タグ座標をディスプレイ画面座標に変換するカーソル生成手段と、
インタフェース装置にカーソルデータを送信するインタラクションインタフェース手段と、
前記近傍探索手段を用いて指示用タグを追跡し、前記カーソル生成手段に送信するカーソル追跡手段と、
前記位置検出手段と前記近傍探索手段と前記カーソル追跡手段を用いて、任意のタイミングで物体を指示用タグとして認識する指示用タグ登録手段を有するポインティング装置。
【請求項１１】
請求項１から９のいずれか１項に記載のポインティング方法をコンピュータに実行させるためのポインティングプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、機器制御やモニタリング・コマンド実行などのインタラクションを実施するインタフェース装置に関する。
【０００２】
【従来の技術】
ディスプレイ装置の画面上をポインティングする従来の代表的な技術として、１．マウスやタブレットペンのように、システムに接続された特定のポインティングデバイスを用いるもの、２．リモコン端末を用いて、インタフェース装置側と離れた位置から通信を行うことによりポインティングを行う手段、３．カメラから取得した操作者画像に基づく操作者のジェスチャー動作認識を用いる手段、４．操作者画像を表示画面に重畳し、該操作者の体の一部とポインティング対象物との重なりを検出することによるポインティング手法が存在する。
【０００３】
第１のマウスやタブレットペンのようなポインティングデバイスを用いる方法は伝統的な方法であり、インタフェース装置に接続されたポインティングデバイスを板状の物体の上で移動させる移動量、あるいは、電子的手段で検出されたｘ，  ｙ座標を画面に対応付け、カーソルとして表示することで、ポインティングを実現している。表示画面を直接タッチするタッチパネルもインタフェース装置に接続されたデバイスを用いたｘ，  ｙ座標値を得る点で、この方法の一種である。この方法の拡張として、赤外線を用いた無線のマウスなども存在する。
【０００４】
第２のリモコン端末による方法は、操作者のボタン操作に基づいて、赤外線の発光などを用いてコマンドを送信、インタフェース装置側が受信することでポインティングを行う。操作者は、インタフェース装置から数ｍ離れていても操作が可能となる。
【０００５】
第３のジェスチャー動作認識による方法では、操作者の動作を分析しコマンドを選択する（非特許文献１、２参照）。操作者の動作は、カメラを用いて２次元あるいは３次元に取得し、その画面の特徴量の変化、あるいは画像処理により特定された身体部位の動作軌跡のパターン認識処理により規定のコマンド集合から１つを選択することができる。
【０００６】
第４の操作者画像と対象物の画像上の重なりを用いる方法では、カメラ画像から操作者あるいは操作者の手の部分を抽出し、抽出された領域とポインティング対象物との重なりを検出して、ポインティングを実現する（非特許文献３から５を参照）。
【０００７】
第３、第４の方法では、操作者の動作や画像の認識において、磁気センサや発光素子、あるいは反射材を用いたマーカやセンサを体に装着して認識を容易にする方法と、背景差分・動き差分処理や肌色の認識などの画像処理によって認識処理を行うものがある。
【０００８】
【非特許文献１】
桐島、佐藤、千原、“注視点の学習と選択制御による身振りの実時間画像認識”信学技報、ＰＲＭＵ２００１―２０３，  Ｊａｎ．，  ２００２．
【非特許文献２】
今野、八木、山内、安村、“ジェスチャー入力によるマルチモーダルインタラクティブシステムの試作”、情処研報、ＨＩ，  Ｎｏ．  ６０，  ｐｐ．  ６５―７２，  １９９５．
【非特許文献３】
Ｖｉｖｉｄ  Ｇｒｏｕｐ  社のＧｅｓｔｕｒｅ  Ｘｔｒｅｍｅ  Ｓｏｆｔｗａｒｅ関連製品、
ｈｔｔｐ：／／ｗｗｗ．ｖｉｖｉｄｇｒｏｕｐ．ｃｏｍ／
【非特許文献４】
佐木ら、“パソコン映像入力を用いたアクション・インタフェースの試み”、計測自動制御学会部会ヒューマンインタフェース部会、第１２回ヒューマン・インタフェース・シンポジウム論文集、ｐｐ．  ２１３  ―２１８，  １９９６．
【非特許文献５】
北端、池永、野島、内村、山下、“キャラクタエージェントとのインタラクションの検討―自己像表示を使ったインタフェースの評価―”、ヒューマンインタフェース学会、第５回ノンバーバルインタフェース研究会（ＳＩＧＮＯＩ），  ｐｐ．  １１―１６，    ２００２．
【０００９】
【発明が解決しようとする課題】
実空間にある物体を指定し、該物体の情報を取得あるいは該物体を操作するための指示（ポインティング）操作においては、操作者は操作対象の物体に直接接触して操作できない状態が想定される。また、その物体を利用するに当たって、その操作のためにインタフェース装置（計算機や操作パネルなど）の近くに束縛されず、かつ、特殊なデバイスを用いずに操作できることが望ましい。この点で、従来のポインティング手法は、以下に示す問題点があった。
【００１０】
第１のマウスやタブレットペンなどのポインティングデバイスを用いる方法では、操作者はインタフェース装置の至近位置に束縛され、インタフェース指定のポインティングデバイスを用いる必要があった。タッチパネルの場合でも、操作者は手またはペンで操作する必要があり、操作者はインタフェース装置から離れることはできない。
【００１１】
第２のリモコン端末によるポインティング操作では、多くの場合、リモコン端末は特定の機器の操作に特化して作製されているため、操作対象物体（機器）毎にリモコン端末を持ち運ぶ必要があり、また、必要なリモコン端末が手元に発見できなければそれを探索する手間が発生する。また、リモコン装置の多くは汚れを嫌うため、濡れ手で触れないなど、操作者の手の状態に制約が発生する。
【００１２】
第３、第４のジェスチャー動作認識あるいは操作者画像と物体画像の重なりを用いたポインティング方法では、動作を抽出し、コマンドに対応付ける処理が画像処理に強く依存しており、周囲の照光条件や操作者の肌の色などで認識精度が劣化する場合がある。また、複数の人間がいる環境下で操作者を特定できないなどの問題があった。第３、第４の方法は、マーカやセンサを用いることで認識精度を向上させることができるが、該方法でも、リアルタイムで完全な認識は難しく、また、操作者の体にシステムによって規定されたマーカ類を装着することで利便性を損ねるという問題があった。
【００１３】
本発明の目的は、インタフェース装置から離れた位置でも操作でき、または特定のリモコン装置に縛られずに操作でき、認識精度が周囲の照光条件などで劣化しにくいポインティング方法、装置、およびプログラムを提供することにある。
【００１４】
【課題を解決するための手段】
本発明のポインティング装置は、
与えられた領域内において、実空間内にある所定の物体の位置の検出を行う位置検出手段と、
時間的に１つ手前の画面での物体位置の近傍を位置検出範囲として前記位置検出手段に指示する近傍探索手段と、
指示用タグ座標をディスプレイ画面座標に変換するカーソル生成手段と、
インタフェース装置にカーソルデータを送信するインタラクションインタフェース手段と、
近傍探索手段を用いて指示用タグを追跡し、前記カーソル生成手段に送信するカーソル追跡手段と、
位置検出手段と近傍探索手段とカーソル追跡手段を用いて、任意のタイミングで物体を指示用タグとして認識する指示用タグ登録手段を有する。
【００１５】
本発明では、操作者が手に触れ得る任意の物体についてあらかじめ簡単な特徴づけを行い、ポインティング操作時に操作者が手に持っている物体をその場でシステムに提示することにより、ポインティング装置として利用できるようにしている。操作者は、自らの手元にある手ごろな物体を任意に選んでポインティング装置とすることができ、システムに再提示することにより、その場その場の状況に応じてポインティング装置に使用する物体を取り替えることができる。このため、操作の都度計算機近くまで移動したり、手の汚れを都度洗ったり、リモコン装置を紛失して部屋中を捜したりすることなく、簡易に計算機や家電装置などの操作が可能になる。
【００１６】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１７】
（第１の実施形態）
図１は本発明の第１の実施形態のポインティング装置の構成図である。本実施形態のポインティング装置は、カーソル情報を作成し、アイコンの選択・実行処理を実行するインタラクション装置へ該カーソル情報を送出する装置である。
【００１８】
操作者４が手にしている色タグ５は、あらかじめ定められた色を発光または反射する物体である。カメラ３は、室内を撮影するカメラであって、当該色が判別できるようなカラー画像を取得するものとする。ポインティング装置１は、位置検出部１１と近傍探索部１２とカーソル生成部１３とカーソル追跡部１４とインタラクションインタフェース部１５と指示用タグ登録部１６ならびに表示用のディスプレー２で構成される。ディスプレー２上には、指示用タグ登録用の窓Ｗ１と窓Ｗ２が設けられている。
【００１９】
インタラクション装置はディスプレー２に含まれている。ただし、カメラ画像は、本ポインティング装置１とインタラクション装置で共有しなけらばならない。現実的には、同一のＰＣ上で互いに通信しながら動作するプログラムとして実現される。また、カメラ映像を両方から参照できる処理プロセスも同時に動作する。
【００２０】
位置検出部１１は本実施形態では、指示用タグ登録部１６から与えられた領域内において、当該色による位置の検出を行う。カメラ３から取得した画像から当該色として定めた色相範囲・明度範囲・彩度範囲の色信号を検出し、画像を連続する領域毎に分割する。面積の小さすぎる領域はノイズとして無視した後、検出した領域集合の重心座標と面積列を出力する。重心は物体の位置そのものとして用いられる。面積は、物体の大きさを示し、座標近傍探索で検出した物体とサイズの比較をするのが目的である。適当な閾値を定め、サイズが大きく異なるものは追跡中の物体ではないと推定する。物体がなくなったら、重心座標と面積は消失扱いする。
【００２１】
近傍探索部１２は前画面（その処理時点で取得している画面に対して時間的に１つ手前の画面）での物体（色タグ５の付いた物体）位置の近傍を指定して位置検出部１１により位置検出を行う。近傍内に物体が検出されれば新しい位置を出力する。複数の物体が検出された場合は、前画面での物体位置との距離、領域面積などを評価値として唯１つの位置を選択する。近傍内に物体が検出されなければ探索失敗を制御部１６に報告する。「複数の物体」については、指定された領域に、当該色の物体が複数個入ってしまう可能性と、一つの物体の幾つかの部分が当該色になっているため、複数の物体に見える可能性がある。この場合、実際には正確な物体認識はできないが、仮に面積最大の該当色領域を、目指す「物体」と推定する、あるいは、閾値以下の距離に近接する当該色領域を一塊と扱って、複数の塊の中で最大のものを物体と推定する、等の方法で唯一に定める。
【００２２】
カーソル生成部１３はカーソル追跡部１４から与えられた指示用タグ座標をディスプレー画面座標に変換する。カメラ設置位置とディスプレー設置位置、カメラの画角を考慮して、回転・拡大／縮小・移動処理により変換する。変換のパラメータは、操作者の平均的な立ち位置からみてディスプレー上の適切な範囲が指示可能となるようにあらかじめキャリブレーションによって設定する。
【００２３】
インタラクションインタフェース部１５はインタラクション装置にカーソルデータを送信する。カーソルは、本カーソルと仮カーソルの２状態があり、インタラクション装置におけるインタラクション作業は本カーソル状態においてのみ有効となり、仮カーソルの状態では、カーソルの位置表示のみが行われるものとする。
【００２４】
指示用タグ登録部１６は最初に追加したい物体の位置を検出するために、ある時点において、その時点の画面上の特定領域である窓Ｗ１の領域を指定して位置検出部１１を起動し、位置検出部１１に物体位置を検出させる（検出は色によって行われる）。一度物体の位置を検出すると（唯一の物体に定まると）、カーソル追跡部１４を用いて、その物体が次にどこに移動したかを検出する動作を繰り返し、物体の追跡を行う。物体位置検出済み画面の次の画面では、検出済みの位置付近（近傍）を探索の範囲として位置検出を行うことで、次の時点（画面）における移動後の物体位置の検出を試みる。指示用タグ登録部１６は、カーソル追跡部１４に物体を追跡させる一方で、図２左側（指示用タグ登録部１６）のフローに沿って新しい物体を検出した場合は、その位置から窓Ｗ１、Ｗ２内の物体を追い、仮カーソルの検出と本カーソルへの変更判断を行っている。新しく仮カーソルあるいは本カーソル化が検出されると、それをカーソル追跡部１４に送信する。
【００２５】
カーソル追跡部１４は指示用タグ登録部１６から起動されると、指示用タグ登録部１６とは独立してカーソル位置（同時に２つのタグ（仮カーソルと本カーソル））を追跡し続ける。カーソル追跡部１４は指示用タグ登録部１６から受け取った指示用タグを追跡し、結果をカーソル生成部１３でカーソル座標に変換して、インタラクションインタフェース部１５から出力する。指示用タグ登録部１６から新しい位置を受信した場合は、その位置から追跡を行う。追跡に失敗した場合、指示用タグ登録部１６から新しい追跡位置を受信するまで、追跡を中止する。
【００２６】
図２は、上記各部の動作フローの概要を示したフローチャートである。各部は、独立した処理プロセスとして動作し、相互に情報を伝達しつつ処理を進める構成となっている。
【００２７】
指示用タグ登録部１６は色タグ５の付いた物体が一定時間Ｔ１秒以上の間窓Ｗ１内に存在すると、その物体の位置を仮カーソルとして生成する。物体が窓Ｗ１から出て一定時間Ｔ２秒以内に窓Ｗ２に入り、さらに一定時間Ｔ３秒以上窓Ｗ２内に滞留した場合、その物体を指示用タグと認識し、カーソルとして使用することを決定する（仮カーソルが本カーソルになる）。条件が満たされない場合、仮カーソルの送信を中止し、初期状態に戻る。
【００２８】
こうすることにより、操作者５は、当該色の物体（つまり、当該色の色タグ５がついた物体）を手に持って、画面を見ながら物体を移動させて窓Ｗ１に、次に窓Ｗ２に入れてやることで、その物体をそれ以後、通常のマウスかタブレットペンのような役割をする物体にすることができる。システムがその物体の追跡に成功する限りポインティングデバイスの機能は有効で（色タグをカーソルとして利用でき）、操作者４は、インタラクション装置とインタラクションを実施できる。途中で物体の追跡に失敗すれば、カーソルが消失する。しかし、改めて窓Ｗ１、Ｗ２へ物体をかざすことでカーソルを復活できる。さらに、カーソルが生きている状態でさえ、別の物体を窓Ｗ１へ入れると仮カーソルが生成され、窓Ｗ２へ移動させると、別の物体が本カーソルになる。別の物体が本カーソルになった段階で、最初の物体の位置は無視される。本カーソル追跡中に、仮カーソルが生成され得るので、カーソル追跡部１４は、同時に２つのタグを追跡する。
【００２９】
このようにして、色さえ当該色であれば、どんなものでもマウスやタブレットペンのようなポインティングデバイスとして利用可能である。ＩＤタグを用いる場合も、ユーザが適当に選んだ物体のＩＤタグがそのままポインティングデバイスになるので、ＩＤタグがある限り、そこら辺りにあるものを掴んで、何でもポインティングデバイスにできる。通常のマウスやタブレットペンのように、あらかじめシステムに取り付けたりＩＤを固定的に割り付けることが不要になる。指示用タグ登録部１６はカーソル追跡部１４が起動されていないときはカーソル追跡部１４を起動し、既に起動されているときは、カーソル追跡部１４に新しい指示物体の位置を伝える。
【００３０】
本実施形態では、指示用タグ登録部１６がカーソル追跡部１４と並行的に動作することにより、ポインティング操作中に、操作者４が色タグ５を放置して移動した場合も、移動先に同色の色タグを別に用意しておけば、再度登録作業を実行することで、ポインティング操作を再開可能である。
【００３１】
室内の任意の適当な位置に色タグ５を複数用意しておくことで、登録済みの物体に束縛されずに、場所を移動しても操作の継続が可能になる。
【００３２】
また、本装置が操作途中で色タグの追跡に失敗した場合、カーソルの消失によってそれを知ることができる。その場合、登録操作をやり直すことで、ポインティングを再開することができ、認識精度を上げられない環境下でも利用が容易になる。カーソルの消失に際して操作者に警告を発する機構を設ければ、さらにユーザビリティを向上できる。
【００３３】
本実施形態の変形例として、肌色の認識を用いることにより、操作者の手を色タグとして用いることが可能である。手の認識には、既存の発明を応用して精度を向上させることも可能である。さらに、目立つ色のシールのようなものでも十分に明るければ色タグとして使用できる。
【００３４】
なお、指示用タグ登録部１６によって指示用タグが登録された後、登録時に指示用タグが実際に発光あるいは反射する色範囲の発光あるいは反射頻度を用いて、頻度の高い範囲を含む色範囲となるように所定の色範囲を縮小した色範囲を求め、その指示用タグの探索においてのみ、縮小された色範囲を用いて近傍探索部１２による近傍探索を実施するようにしてもよい。
【００３５】
元々所定の色範囲をＨＳＶやＲＧＢなどの色の空間中の小領域に分割して、実際に検出された画面上の各ピクセルの色をその空間中にプロットすれば、色の使用頻度が出る。この使用頻度の上位ｎ位を含む色集合、あるいは上位の色から選んで頻度値の累積が全体のｘ％以上となる色集合を囲む色範囲を新たに近傍探索用に用いることで、色を絞りこむことができる。
【００３６】
これは、所定の色範囲を広く取っておいて、実際に何かそれらしいものが窓に入ってきたら、それが何でも指示用タグと思って、その色を用い、別のものが入ってきたら、その別のものの色で追跡を掛けるという方法である。利点は、指示タグに使えるものの色範囲を広くした上で（より多くのものが指示用タグとして使える）、一旦タグとして選ぶと、色を絞り込むことで他の物を誤認識する可能性を減らせることである。
【００３７】
（第２の実施形態）
図３のポインティング装置は、自己像表示インタフェース装置に本発明を適用した例である。自己像表示型インタフェース装置は、操作者を撮影したカメラ画像の鏡像をディスプレー２に重畳表示し、ディスプレー２内に同時に撮影されている物体やＣＧによる仮想物体、アイコン等を選択操作するインタフェースである。鏡像を作製するために、鏡像処理部１７が必要になる。
【００３８】
本ポインティング装置は、インタラクション装置に鏡像データをカーソル情報とともに送信することで、自己像表示インタフェース装置の中に統合化することができる。
【００３９】
（第３の実施形態）
図４のポインティング装置は、ＩＤ付きタグを用いた実施形態である。ＩＤ付きタグ６として、本実施形態では赤外線（ＩＲ）を使ったタグを想定している。タグは自分のＩＤを赤外線でモールス信号のような信号を用いて送信し、その映像を赤外線カメラで取得して、画像処理により、ＩＤ何番のタグが画面のどの位置にいるかという情報を配信する機能を有している。カメラ側にもう一つ赤外線発信源をおいて、外からＩＤを送って、タグに自分のＩＤにＡｃｋｎｏｗｌｅｄｇ信号を返させて位置を特定する方法もある。いずれにせよ、ＩＤタグの画面上の位置を検出して、ＩＤ＋座標値として配信させることにより、本実施形態において利用可能である。無線電波タグ（ＲＦタグ）や超音波を使ったタグなど、ディスプレー画面上に対応付ける際に十分な精度を得られるならば他のＩＤ付きタグを用いてもよい。ＩＤタグの認識装置はカメラが必ずしも共有されなくてもよいので別ＰＣで実現されることもある。
【００４０】
タグ位置のセンシングについては、既存技術を用いることが可能である。図４では、赤外線カメラ３’とＩＲタグ制御・ＩＤ／座標検出部１８によりタグＩＤ・座標値対の集合２０を得ている。位置検出部１１において、第１の実施形態と異なり、ＩＲタグ制御・ＩＤ／座標検出部１８から出力された座標群から指定領域のタグを検出する。また、近傍探索部１２では、追跡中タグと同一ＩＤのタグについて近傍を探索する。
【００４１】
（第４の実施形態）
図５に示す第４の実施形態は、第２の実施形態と第３の実施形態を統合し、タグ認識による自己像表示インタフェースを構成したものである。タグ認識結果は、実世界の物体認識に基づくインタフェースを構築する際に物体登録のための情報として利用できる。図５に示すように、ＩＲ  ＩＤタグのＩＤ・座標情報と、カメラの鏡像データの両方をインタラクション装置と共有することで、ＩＲ  ＩＤタグを装着させた物体を指示用タグとしても、実世界インタフェースの処理対象となる実世界物体としても使用可能な自己表示型インタフェースを構築できる。
【００４２】
また、第３、第４の実施形態のように、ＩＤタグで選択する場合は、最初の検出（近傍探索部１２ではなく、指示用タグ登録部１６から直接位置検出部１１を起動して選択する）の際に、複数のＩＤ付き物体が領域内にある可能性がある。この場合は、ランダムに選ぶ、過去の履歴で選ばれたものがあれば、それを選ぶ、番号の一番若いものを選ぶ、等の方法が想定できる。但し、一度ＩＤが決まれば、近傍探索部１２では、そのＩＤの物体のみを探索しようとするので、ＩＤ付き物体が複数あっても、選ばれるものは唯一に定まる（ＩＤが重複しない限り）。
【００４３】
（第５の実施形態）
図５に示す第５の実施形態のポインティング装置は、第１の実施形態のポインティング装置にマイク７と音声認識コマンド部２１を追加したものである。
【００４４】
窓Ｗ１で物体が検出されてＴ１秒以上経過して仮カーソルを生成するまでは第１の実施形態と同様に動作し、その後、Ｔ４秒以内に、音声コマンド認識部２１から「タグ登録」などの所定のキーワードが検出されれば、仮カーソルを本カーソルに移行し、Ｔ４秒以内にキーワードが検出できなければ、指示用タグ登録部１６は、窓Ｗ１内の物体検出処理に戻ってやり直す。
【００４５】
（第６の実施形態）
図６に示す第６の実施形態のポインティング装置は、第１の実施形態のポインティング装置に移動軌跡分析部２２を追加したものである。
【００４６】
窓Ｗ１で物体が検出されてＴ１秒以上経過して仮カーソルを生成するまでは第１の実施形態と同様に動作した後、指示用タグ登録部１６は、近傍探索の結果の物体位置情報の時間系列を移動軌跡分析部２２に送信する。移動軌跡分析部２２では、物体の移動軌跡を分析し、一例として、所定回数以上、所定振幅以上の物体の往復運動が検出されると、その旨を指示用タグ登録部１６に報告することにより指示用タグを登録することが可能である。移動軌跡分析部２２からの報告がＴ５秒以上来なければ、指示用タグ登録部１６は移動軌跡分析部２２に追跡の終了を通知して、窓Ｗ１内の物体検出処理に戻ってやり直す。
【００４７】
なお、本発明は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ―ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００４８】
【発明の効果】
以上説明したように本発明によれば、下記の効果がある。
【００４９】
操作者は、任意の色タグやＩＤタグを指示用タグとして用いることにより、操作者は、インタフェース装置の近くに束縛されずに離れた位置からでも、また室内を移動しながらでも操作を実施できる。
【００５０】
さらに、任意の指示用タグを登録できることにより、特定のリモコン装置に縛られずに操作が実施でき、したがって、リモコンを探すことにより操作者の時間を浪費することなく操作できる。人の手の認識技術と組み合わせることで、手をタグの代用とした、素手によるポインティングも可能であり、自由度の高いマンマシンインタフェースを構築できる。
【００５１】
また、実施形態に示したように、ポインティング実施中でも、再登録操作により、指示用タグを切り替えることが可能になる。操作途中で別作業のために指示用タグを手放して席を立つなどの行為の後に作業を再開する際でも、先に登録した指示用タグに束縛されずに新しく登録したタグで操作を再開できる。
【００５２】
さらに、操作途中でタグの追跡に失敗した場合も、タグを再登録することで、容易に作業を再開することが可能である。
【００５３】
指示用タグに使う色タグやＩＤタグは小型のもが製作可能なので、多様なものに取り付け可能である。オフィスで使うペンや物差し、家庭内でもペーパーナイフや台所用品でも使用可能である。
【００５４】
このように、本発明によれば、多くの場面で計算機とのインタフェースを利用することが可能になり、日常の多様状況下で、計算パワーを利用するインタフェースを構築するためのポインティング装置を構築できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態のポインティング装置の構成図である。
【図２】第１の実施形態のポインティング装置の各部の動作を示すフローチャートである。
【図３】本発明の第２の実施形態のポインティング装置の構成図である。
【図４】本発明の第３の実施形態のポインティング装置の構成図である。
【図５】本発明の第４の実施形態のポインティング装置の構成図である。
【図６】本発明の第５の実施形態のポインティング装置の構成図である。
【図７】本発明の第６の実施形態のポインティング装置の構成図である。
【符号の説明】
１    ポインティング装置
２    ディスプレー
３    カメラ
３’    赤外線カメラ
４    操作者
５    色タグ
６    ＩＲ  ＩＤタグ
７    マイク
Ｗ１，  Ｗ２    窓
Ｃ        カーソル
１１    位置検出部
１２    近傍探索部
１３    カーソル生成部
１４    カーソル追跡部
１５    インストラクションインタフェース部
１６    指示用タグ登録部
１７    鏡像処理部
１８    画像データ
１９    ＩＲタグ制御ＩＤ／座標検出部
２０    タグＩＤ／座標データ
２１    音声コマンド認識部
２２    移動軌跡分析部
【図１】
2004272598.tif 000003
【図２】
2004272598.tif 000004
【図３】
2004272598.tif 000005
【図４】
2004272598.tif 000006
【図５】
2004272598.tif 000007
【図６】
2004272598.tif 000008
【図７】
2004272598.tif 000009