(57)【特許請求の範囲】
【請求項１】
ポインティング領域の任意の位置をポインティングするためのポインティング装置であって、
前記ポインティング領域を撮影する撮影手段と、
この撮影手段によって得られた撮影画像から前記ポインティング領域に対応した画像を検出する画像検出手段と、
この画像検出手段によって検出されたポインティング領域画像と前記撮影画像との相対関係に応じて、前記ポインティング領域の該当する位置を算出するポインタ位置算出手段と、
前記ポインタ位置算出手段によって算出されたポインタ位置を記憶する記憶手段と、
前記ポインタ位置算出手段によって算出された現在のポインタ位置にポインタを表示させる第１のポインティング手段と、
前記ポインタ位置算出手段によって算出された現在のポインタ位置と、前記記憶手段によって記憶されている所定時間前から現在までのポインタ位置とからポインタ位置を算出して、該算出されたポインタ位置にポインタを表示させる第２のポインティング手段と、
前記ポインティング領域画像と前記撮影画像との相対関係の時間変化から前記ポインタの移動速度を検出する移動速度検出手段と、
補正モードが解除されている通常モードで、前記移動速度検出手段により検出された移動速度が所定速度以下である第１の条件を満たす状態が所定時間以上継続した場合に補正モードを設定し、前記移動速度が所定速度より大きい第２の条件を満たすまでの間はこの補正モードを維持し、前記第２の条件を満たした場合に前記補正モードを解除して通常モードを設定し、前記通常モードで所定時間未満前記第１の条件を満たした場合であっても前記通常モードを維持する補正モード切換手段と、
前記補正モードが解除されている間は前記第１のポインティング手段によるポインタ表示位置の更新動作を複数回継続して行い、前記補正モードが設定されている間は前記第２のポインティング手段によるポインタ表示位置の更新動作を複数回継続して行う表示制御手段と
を具備したことを特徴とするポインティング装置。
【請求項２】
前記第１のポンティング手段は、前記ポインティング領域画像と前記撮影画像との相対関係の時間変化に対する前記ポインタの表示位置の変化が同じであり、
前記第２のポインティング手段は、前記ポインティング領域画像と前記撮影画像との相対関係の時間変化に対する前記ポインタの表示位置の変化が小さくなることを特徴とする請求項１記載のポインティング装置。
【請求項３】
前記第２のポインティング手段は、前記ポインタ位置算出手段によって算出された現在のポインタ位置と、前記記憶手段によって記憶されている前記ポインタの移動速度が所定速度以下を継続している時間のポインタ位置とからポインタ位置を算出して、該算出されたポインタ位置にポインタを表示させることを特徴とする請求項１又は２に記載のポインティング装置。
【請求項４】
前記第２のポインティング手段は、前記記憶手段によって記憶されている前記ポインタの移動速度が所定速度以下を継続している時間のポインタ位置から基準位置を求め、前記ポインタ位置算出手段によって算出された現在のポインタ位置との間の位置にポインタ位置を算出して、該算出されたポインタ位置にポインタを表示させることを特徴とする請求項３記載のポインティング装置。
【請求項５】
前記表示制御手段により前記第１のポンティング手段と前記第２のポインティング手段のいずれに切り換えられたかを識別可能に表示する識別表示手段を更に備えることを特徴とする請求項１から４のいずれか一項に記載のポインティング装置。
【請求項６】
ポインティング領域の任意の位置をカメラ付きのポインティング装置によってポインティングするためのポインティング方法であって、
前記ポインティング領域に前記カメラを向けて撮影し、
前記カメラによって得られた撮影画像から前記ポインティング領域に対応した画像を検出し、
前記ポインティング領域画像と前記撮影画像との相対関係に応じて、前記ポインティング領域の該当する位置を算出し、
前記算出されたポインタ位置を記憶し、
前記算出された現在のポインタ位置にポインタを表示させ、
前記算出された現在のポインタ位置と、前記記憶されている所定時間前から現在までのポインタ位置とからポインタ位置を算出して、該算出されたポインタ位置にポインタを表示させ、
前記ポインティング領域画像と前記撮影画像との相対関係の時間変化から前記ポインタの移動速度を検出し、
補正モードが解除されている通常モードで、前記移動速度検出手段により検出された移動速度が所定速度以下である第１の条件を満たす状態が所定時間以上継続した場合に補正モードを設定し、前記移動速度が所定速度より大きい第２の条件を満たすまでの間はこの補正モードを維持し、前記第２の条件を満たした場合に前記補正モードを解除して通常モードを設定し、前記通常モードで所定時間未満前記第１の条件を満たした場合であっても前記通常モードを維持し、
前記補正モードが解除されている間と前記補正モードが設定されている間とで、いずれかの前記ポインタ表示位置の更新動作を複数回継続して行う
ことを特徴とするポインティング方法。
【請求項７】
ポインティング領域の任意の位置をポインティングするためのカメラ付きのポインティング装置を制御するコンピュータによって実行されるプログラムであって、
前記コンピュータに、
前記ポインティング領域に前記カメラを向けて撮影したときに得られた撮影画像から前記ポインティング領域に対応した画像を検出する機能と、
前記ポインティング領域画像と前記撮影画像との相対関係に応じて、前記ポインティング領域の該当する位置を算出する機能と、
前記算出されたポインタ位置を記憶する機能と、
前記算出された現在のポインタ位置にポインタを表示させる機能と、
前記算出された現在のポインタ位置と、前記記憶されている所定時間前から現在までのポインタ位置とからポインタ位置を算出して、該算出されたポインタ位置にポインタを表示させる機能と、
前記ポインティング領域画像と前記撮影画像との相対関係の時間変化から前記ポインタの移動速度を検出する機能と、
補正モードが解除されている通常モードで、前記移動速度検出手段により検出された移動速度が所定速度以下である第１の条件を満たす状態が所定時間以上継続した場合に補正モードを設定し、前記移動速度が所定速度より大きい第２の条件を満たすまでの間はこの補正モードを維持し、前記第２の条件を満たした場合に前記補正モードを解除して通常モードを設定し、前記通常モードで所定時間未満前記第１の条件を満たした場合であっても前記通常モードを維持する機能と、
前記補正モードが解除されている間と前記補正モードが設定されている間とで、いずれかの前記ポインタ表示位置の更新動作を複数回継続して行う機能と
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばコンピュータ画面をプロジェクタによりスクリーン上に投影するシステムに用いられ、そのスクリーン上の任意の位置をポインティングしてコンピュータ画面に反映させる機能を備えたカメラ付きのポインティング装置と、同装置に用いられるポインティング方法及びプログラムに関する。
【背景技術】
【０００２】
近年、所謂「カメラポインタ」と呼ばれるカメラ付きのポインティング装置を用いて、スクリーン上の任意の位置をポインティングしてコンピュータ画面に反映させるシステムが知られている（例えば、特許文献１参照）。
【０００３】
前記ポインティング装置の先端部にはカメラが設けられており、そのカメラにて撮影された画像の中心（画角の中心）を操作者のポインティング位置（指定位置）として認識することで、スクリーン上の該当する位置にポインタを表示させている。
【特許文献１】特開２００１−１６６８８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したようなカメラ付きのポインティング装置では、カメラを向けた位置にポインタを表示させることができる。しかしながら、ポインタの動きは、カメラの動きに依存されるため、装置本体を手で持ち、カメラの向きを変えながら、スクリーン上の細かい部分をポインティングすることは非常に難しい。
【０００５】
本発明は前記のような点に鑑みなされたもので、オペレータがスクリーン上の細かい部分をポインティングするような状況のときに、ポインタを小さく動かして、意図した位置を正確にポインティングできるポインティング装置、ポインティング方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の請求項１に係るポインティング装置は、ポインティング領域の任意の位置をポインティングするためのポインティング装置であって、
前記ポインティング領域を撮影する撮影手段と、
この撮影手段によって得られた撮影画像から前記ポインティング領域に対応した画像を検出する画像検出手段と、この画像検出手段によって検出されたポインティング領域画像と前記撮影画像との相対関係に応じて、前記ポインティング領域の該当する位置を算出するポインタ位置算出手段と、前記ポインタ位置算出手段によって算出されたポインタ位置を記憶する記憶手段と、前記ポインタ位置算出手段によって算出された現在のポインタ位置にポインタを表示させる第１のポインティング手段と、前記ポインタ位置算出手段によって算出された現在のポインタ位置と、前記記憶手段によって記憶されている所定時間前から現在までのポインタ位置とからポインタ位置を算出して、該算出されたポインタ位置にポインタを表示させる第２のポインティング手段と、前記ポインティング領域画像と前記撮影画像との相対関係の時間変化から前記ポインタの移動速度を検出する移動速度検出手段と、補正モードが解除されている通常モードで、前記移動速度検出手段により検出された移動速度が所定速度以下である第１の条件を満たす状態が所定時間以上継続した場合に補正モードを設定し、前記移動速度が所定速度より大きい第２の条件を満たすまでの間はこの補正モードを維持し、前記第２の条件を満たした場合に前記補正モードを解除して通常モードを設定し、前記通常モードで所定時間未満前記第１の条件を満たした場合であっても前記通常モードを維持する補正モード切換手段と、前記補正モードが解除されている間は前記第１のポインティング手段によるポインタ表示位置の更新動作を複数回継続して行い、前記補正モードが設定されている間は前記第２のポインティング手段によるポインタ表示位置の更新動作を複数回継続して行う表示制御手段とを具備したことを特徴とする。
【０００７】
また、本発明の請求項２は、請求項１記載のポインティング装置において、前記第１のポンティング手段は、前記ポインティング領域画像と前記撮影画像との相対関係の時間変化に対する前記ポインタの表示位置の変化が同じであり、前記第２のポインティング手段前記ポインティング領域画像と前記撮影画像との相対関係の時間変化に対する前記ポインタの表示位置の変化が小さくなることを特徴とする。
【０００８】
また、本発明の請求項３は、請求項１または２に記載のポインティング装置において、前記第２のポインティング手段は、前記ポインタ位置算出手段によって算出された現在のポインタ位置と、前記記憶手段によって記憶されている前記ポインタの移動速度が所定速度以下を継続している時間のポインタ位置とからポインタ位置を算出して、該算出されたポインタ位置にポインタを表示させることを特徴とする。
【０００９】
また、本発明の請求項４は、請求項３記載のポインティング装置において、前記第２のポインティング手段は、前記記憶手段によって記憶されている前記ポインタの移動速度が所定速度以下を継続している時間のポインタ位置から基準位置を求め、前記ポインタ位置算出手段によって算出された現在のポインタ位置との間の位置にポインタ位置を算出して、該算出されたポインタ位置にポインタを表示させることを特徴とする。
【００１２】
また、本発明の請求項５は、請求項１から４のいずれか一項に記載のポインティング装置において、前記表示制御手段により前記第１のポンティング手段と前記第２のポインティング手段のいずれに切り換えられたかを識別可能に表示する識別表示手段を更に備えることを特徴とする。
【００１３】
本発明の請求項６に係るポインティング方法は、ポインティング領域の任意の位置をカメラ付きのポインティング装置によってポインティングするためのポインティング方法であって、前記ポインティング領域に前記カメラを向けて撮影し、前記カメラによって得られた撮影画像から前記ポインティング領域に対応した画像を検出し、前記ポインティング領域画像と前記撮影画像との相対関係に応じて、前記ポインティング領域の該当する位置を算出し、前記算出されたポインタ位置を記憶し、前記算出された現在のポインタ位置にポインタを表示させ、前記算出された現在のポインタ位置と、前記記憶されている所定時間前から現在までのポインタ位置とからポインタ位置を算出して、該算出されたポインタ位置にポインタを表示させ、前記ポインティング領域画像と前記撮影画像との相対関係の時間変化から前記ポインタの移動速度を検出し、補正モードが解除されている通常モードで、前記移動速度検出手段により検出された移動速度が所定速度以下である第１の条件を満たす状態が所定時間以上継続した場合に補正モードを設定し、前記移動速度が所定速度より大きい第２の条件を満たすまでの間はこの補正モードを維持し、前記第２の条件を満たした場合に前記補正モードを解除して通常モードを設定し、前記通常モードで所定時間未満前記第１の条件を満たした場合であっても前記通常モードを維持し、前記補正モードが解除されている間と前記補正モードが設定されている間とで、いずれかの前記ポインタ表示位置の更新動作を複数回継続して行うことを特徴とする。
【００１４】
本発明の請求項７に係るプログラムは、ポインティング領域の任意の位置をポインティングするためのカメラ付きのポインティング装置を制御するコンピュータによって実行されるプログラムであって、前記コンピュータに、前記ポインティング領域に前記カメラを向けて撮影したときに得られた撮影画像から前記ポインティング領域に対応した画像を検出する機能と、前記ポインティング領域画像と前記撮影画像との相対関係に応じて、前記ポインティング領域の該当する位置を算出する機能と、前記算出されたポインタ位置を記憶する機能と、前記算出された現在のポインタ位置にポインタを表示させる機能と、前記算出された現在のポインタ位置と、前記記憶されている所定時間前から現在までのポインタ位置とからポインタ位置を算出して、該算出されたポインタ位置にポインタを表示させる機能と、前記ポインティング領域画像と前記撮影画像との相対関係の時間変化から前記ポインタの移動速度を検出する機能と、補正モードが解除されている通常モードで、前記移動速度検出手段により検出された移動速度が所定速度以下である第１の条件を満たす状態が所定時間以上継続した場合に補正モードを設定し、前記移動速度が所定速度より大きい第２の条件を満たすまでの間はこの補正モードを維持し、前記第２の条件を満たした場合に前記補正モードを解除して通常モードを設定し、前記通常モードで所定時間未満前記第１の条件を満たした場合であっても前記通常モードを維持する機能と、前記補正モードが解除されている間と前記補正モードが設定されている間とで、いずれかの前記ポインタ表示位置の更新動作を複数回継続して行う機能とを実現させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、オペレータがスクリーン上の細かい部分をポインティングするような状況のときに、ポインタを小さく動かして、意図した位置を正確にポインティングできる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明の実施形態を説明する。
【００１７】
（第１の実施形態）
図１は本発明の第１の実施形態に係るポインティング装置を用いた投影システムの構成を示す図である。
【００１８】
本システムは、ポインティング装置１１、プロジェクタ１２、ＰＣ（Personal Computer）１３からなる。プロジェクタ１２とＰＣ１３とは通信ケーブル１４を介して接続されており、プロジェクタ１２はＰＣ１３の表示画面を投影対象としてスクリーン１５上に投影表示する。
【００１９】
なお、プロジェクタ１２とＰＣ１３との接続形態は、図１の例では通信ケーブル１４を用いているが、無線通信を利用することも可能である。スクリーン１５は、例えばホワイトボードなどであり、プロジェクタ１２と対向させて設置される。図中の１６はスクリーン１５に投影されたＰＣ画面の投影画像である。
【００２０】
ポインティング装置１１は、スクリーン１５の任意の位置をポインティング操作するためのものである。このポインティング装置１１の先端部にはカメラ１０が設置されており、このカメラ１０で撮影された画像を用いて現在のポインティング位置（指定位置）を検出し、その位置信号をワイヤレス通信などでＰＣ１３に送出する。これにより、ＰＣ１３では、ポインティング装置１１から送られてくる位置信号に基づいて、画面上の該当する位置にポインタＰを表示するなどの処理を行う。
【００２１】
図２は投影システムを構成するＰＣ１３とポインティング装置１１の回路構成を示すブロック図である。
【００２２】
本システムにおいて、ＰＣ１３は、プレゼン用の画像を表示するための装置として用いられる。このＰＣ１３には、ＣＰＵ２１、主記憶装置２２、表示記憶装置２３、外部記憶装置２４、表示装置２５、入力装置２６、通信装置２７などが設けられている。また、このＰＣ１３には、通信ケーブル１４を介してプロジェクタ１２が接続される。
【００２３】
ＣＰＵ２１は、ＰＣ１３の全体の制御を行うものであり、プレゼン用の画像の表示処理などを行う。主記憶装置２２は、ＲＯＭなどからなり、ＣＰＵ２１の処理動作に必要な各種データを記憶している。表示記憶装置２３は、プレゼン用の画像を記憶している。外部記憶装置２４は、ハードディスク装置などからなる。
【００２４】
表示装置２５は、ＬＣＤ（Liquid Crystal Display）などからなり、表示記憶装置２３から読み出されたプレゼン用の画像などを表示する。このとき表示された画像は、通信ケーブル１４を介してプロジェクタ１２に転送され、図１に示したスクリーン１５上に投影される。
【００２５】
入力装置２６は、キーボードなどからなり、各種データの入力や指示を行う場合に用いられる。通信装置２７は、ポインティング装置１１側の通信装置３４との間でデータを送受信する。なお、ＰＣ１３とポインティング装置１１との間の通信形態は、有線でも無線でも良い。ただし、図１のように、ポインティング装置１１はＰＣ１３とは離れた場所で操作されるため、無線の方が好ましい。
【００２６】
一方、ポインティング装置１１には、ＣＰＵ３１、主記憶装置３２、操作部３３、通信装置３４、そして、カメラ１０が設けられている。
【００２７】
ＣＰＵ３１は、ポインティング装置１１の全体の制御を行うものであり、後述するポインティング操作に関わる一連の処理を実行する。このＣＰＵ３１にて実行される処理を機能的に示すと、図３に示すように、画像検出部３１ａ、ポインティング部３１ｂ、移動状態検出部３１ｃ、表示制御部３１ｄから構成される。
【００２８】
画像検出部３１ａは、カメラ１０によって得られた撮影画像からポインティング領域に対応した画像を検出する。ポインティング部３１ｂは、この画像検出部３１ａによって検出されたポインティング領域画像と撮影画像との相対関係に応じて、ポインティング領域の該当する位置にポインタＰを表示させる。移動状態検出部３１ｃは、前記相対関係の時間変化からポインタＰの移動状態を検出する。表示制御部３１ｄは、この移動状態検出部３１ｃによって検出されたポインタＰの移動状態に基づいて補正モードに切り換え、前記相対関係の時間変化に対するポインタＰの表示位置の変化を小さくするようにポインタＰの表示位置を補正する。
【００２９】
主記憶装置３２には、ポインティング操作を実現するためのプログラム３２ａの他、ＣＰＵ３１の動作に必要な各種データを記憶している。また、この主記憶装置３２には、ポインタＰが表示された座標位置の履歴を記憶しておくための履歴記憶部３２ｂが設けられている。
【００３０】
操作部３３には、ポインタ機能をＯＮ／ＯＦＦするためのＯＮ／ＯＦＦボタン３３ａを含む各種操作ボタンが設けられている。通信装置３４は、ＰＣ１３側の通信装置２７との間でデータを送受信する。
【００３１】
また、カメラ１０は、ポインティング装置１１の先端部に設けられている。このカメラ１０は、ポインタ機能がＯＮされた状態で所定の間隔（例えば１／３０秒間隔）で撮影動作を連続して行う。
【００３２】
以下では、説明を簡単にするために、ポインティング領域となるスクリーン１５の投影面全体にＰＣ画面の投影画像１６が表示されているものとして説明する。
【００３３】
図４は撮影画像とその中に含まれるスクリーン画像との関係を示す図、図５はスクリーンに対するポインタの位置を示す図である。
【００３４】
まず、ＰＣ１３の表示画面がプロジェクタ１２を介してスクリーン１５上に投影される。操作者はポインティング装置１１の先端部に設けられたカメラ１０をスクリーン１５に向けてポインティング操作を行う。
【００３５】
図４および図５に示すように、カメラ１０にて撮影された画像４１の中心点（カメラ１０の画角の中心）をＯとすると、その中心点Ｏが操作者の指し示す位置となる。この中心点Ｏがスクリーン画像４２の領域内にあれば、ＰＣ１３を通じてポインタＰがスクリーン１５上の該当位置に表示される。
【００３６】
このように、ポインティング装置１１では、カメラ１０を向けた位置を操作者のポインティング位置として認識し、スクリーン１５上の該当する位置にポインタＰを表示させることができる。ところが、スクリーン１５から離れた場所で操作する場合、図６に示すように、スクリーン１５が小さく撮影されるため、操作者がカメラ１０の向きを少し変えただけでも、ポインタＰが大きく動いてしまい、意図した位置を正確にポインティングできないといった問題がある。
【００３７】
また、スクリーン１５までの距離は適正であっても、スクリーン１５に対して斜めから操作するような場合であれば、図７に示すようにスクリーン１５が歪んで撮影されるので、その歪んだ部分に対するポインティング操作は難しくなる。
【００３８】
さらに、同じ立ち位置であっても、オペレータが指し示したい箇所によってポインティング操作の動きが異なってくる。すなわち、図８に示すように、スクリーン１５上にプレゼンテーション用のＰＣ画面が投影されている場合に、その投影画像１６の中の説明内容の部分１６ａを大まかに指し示すときには、ポインタＰの位置精度はそれぞれほど必要としない。したがって、オペレータはカメラ１０（ポインティング装置１１）を比較的速く動かしながらポインティング操作することができる。
【００３９】
これに対し、図９に示すように、例えばウィンドウを閉じるために「閉じる」ボタン（「×」マーク）１６ｂをピンポイントで指し示すような場合には、ポインタＰの位置精度が必要となる。このため、オペレータはカメラ１０（ポインティング装置１１）をゆっくりと動かしながら、ポインタＰを「×」マーク１６ｂに的確に位置決めするといった操作を行わなければならない。
【００４０】
以下に、このような問題を解消するための手法について説明する。
【００４１】
図１０は第１の実施形態におけるポインティング装置の処理動作を示すフローチャートである。なお、このフローチャートで示される処理は、ポインティング装置１１に設けられたＣＰＵ３１が主記憶装置３２に記憶されたプログラム３２ａを読み込むことにより実行される。
【００４２】
まず、ポインティング装置１１の操作部３３に設けられたＯＮ／ＯＦＦボタン３３ａを操作してポインタ機能をオンする。この状態で、ポインティング装置１１の先端部に設けられたカメラ１０をスクリーン１５に向けると、例えば３０分の１秒など、予め決められたフレームレートで連続撮影が行われ、図１１に示すように、横ピクセル数Ｗ、縦ピクセル数Ｈの撮影画像４１が順次得られる（ステップＡ１１）。
【００４３】
ＣＰＵ３１は、カメラ１０を通じて撮影画像４１を得ると、その中からポインティング領域となるスクリーン画像４２の領域を検出し、その輪郭を抽出する（ステップＡ１２）。なお、撮影画像の中から特定部分の領域を検出する方法は公知であるため、ここではその説明を省略するものとする。
【００４４】
ここで、図４および図５で説明したように、撮影画像４１の中心点（カメラ１０の画角の中心）をＯとすると、その中心点Ｏが操作者の指し示す位置となる。ＣＰＵ３１は、この中心点Ｏをスクリーン画像４２の座標系上の点（Ｘi-1，Ｙi-1）に変換し、そこがスクリーン画像４２の領域内にあれば、ＰＣ１３に指示を出して、スクリーン１５上の該当位置にポインタＰを表示させる（ステップＡ１３）。
【００４５】
また、１／３０秒後に次の撮影画像４１が得られると、ＣＰＵ３１は、前記同様に当該撮影画像４１の中心点Ｏをスクリーン画像４２の座標系上の点（Ｘi，Ｙi）に変換して、スクリーン１５上の該当位置にポインタＰを表示させる（ステップＡ１４，Ａ１５）。ポインタＰの表示後、ＯＮ／ＯＦＦボタン３３ａの操作によりポインタ機能がオフされた場合には（ステップＡ１６のＹｅｓ）、ここでの処理を終了する。
【００４６】
一方、ポインタ機能がＯＮ状態であれば（ステップＡ１６のＮｏ）、続いて、ＣＰＵ３１は、前回の撮影で得られた点（Ｘi-1，Ｙi-1）と今回の撮影で得られた点（Ｘi，Ｙi）とを比較して、スクリーン１５上に表示されたポインタＰの移動速度を算出する（ステップＡ１７）。また、移動速度の算出後、次のフレーム画像の処理に備えて、（Ｘi，Ｙi）を（Ｘi-1，Ｙi-1）に置き換えておく（ステップＡ１８）。
【００４７】
ここで、ポインタＰの移動速度が所定速度以下にあり、その状態が所定時間（例えば２秒）以上連続していた場合（ステップＡ１９のＹｅｓ）、ＣＰＵ３１は、通常モードから補正モードに切り換えて（ステップＡ１９ａ）、以下のような処理を実行する。なお、「補正モード」とは、ポインタＰの表示位置を補正するためのモードであり、ここでは、カメラ１０の動きに対応したポインタＰの動きを通常モード時よりも小さくすることを特徴としている。また、「所定速度」とは、図９で説明したように、オペレータが細かい箇所を指し示すときのカメラ１０（ポインティング装置１１）の平均的な速度によって決められている。
【００４８】
この補正モードに切り換えられると、ＣＰＵ３１は、まず、前記所定速度以下の状態が連続している間に表示されていたポインタＰの各点（Ｘi，Ｙi）の座標を主記憶装置３２の履歴記憶部３２ｂから読み出し、これらを平均化した位置を基準点（Ｘref，Ｙref）として定める（ステップＡ２０）。
【００４９】
その際、前回の撮影から１／３０秒経過して、新たな撮影画像４１が得られたときに（ステップＡ２１）、ＣＰＵ３１は、その撮影画像４１と前回の撮影画像４１を用いて、前記同様にしてポインタＰの移動速度を算出する（ステップＡ２２，Ａ２３）。その結果、ポインタＰの移動速度が所定速度よりも速くなっていれば（ステップＡ２４のＮｏ）、ＣＰＵ３１は補正モードを解除して（ステップＡ２４ａ）、今回の撮影画像４１とスクリーン画像４２の相対関係から得られる位置（Ｘi，Ｙi）にポインタＰを表示させる（ステップＡ２５）。また、ポインタＰの表示後、次のフレーム画像の処理に備えて、（Ｘi，Ｙi）を（Ｘi-1，Ｙi-1）に置き換えてから（ステップＡ２６）、ステップＡ１４の処理に戻る。
【００５０】
一方、依然としてポインタＰの移動速度が所定速度以下の状態が続いていれば（ステップＡ２４のＹｅｓ）、ＣＰＵ３１は、今回の撮影画像４１とスクリーン画像４２の相対関係から得られる位置（Ｘi，Ｙi）と前記ステップＡ２０で求めた基準点（Ｘref，Ｙref）との中点を補正後の表示位置として求め、その表示位置がスクリーン画像４２の領域内にあれば、そこにポインタＰを表示させる（ステップＡ２７）。また、ポインタＰの表示後、次のフレーム画像の処理に備えて、（Ｘi，Ｙi）を（Ｘi-1，Ｙi-1）に置き換え（ステップＡ２８）、ポインタ機能がＯＦＦされるまでの間（ステップＡ２９）、ステップＡ２１からの処理を繰り返す。
【００５１】
図１２に補正モード時のポインタＰの表示位置を示す。  
通常モードでは、撮影画像４１とスクリーン画像４２の相対関係から得られる点（Ｘi，Ｙi）の位置にポインタＰが表示されるのに対し、補正モードでは、点（Ｘi，Ｙi）と基準点（Ｘref，Ｙref）との中点にポインタＰが表示されることになる。したがって、カメラ１０を大きく動かしても、ポインタＰを少しずつ移動させることができる。通常モードに戻したいときには、ポインティング装置１１を一時的に早く動かす。すると、補正モードの条件から外れるので、通常モードに戻る。
【００５２】
このように、第１の実施形態によれば、ポインタＰの移動速度からオペレータがスクリーン１５上の細かい部分をポインティングしている状況が判断されて補正モードに切り換えられる。補正モードでは、カメラ１０の動きに対するポインタＰの動きが小さくなる。したがって、図９のように、例えばスクリーン１５に投影されたＰＣ画面の「閉じる」ボタン（「×」マーク）１６ｂをクリックするような場合に、ポインタＰを小刻みに動かしながら、簡単にポインティングできるようになる。
【００５３】
また、図６に示したようにスクリーン１５が小さく撮影されている場合や、図７に示したようにスクリーン１５が歪んで撮影されているような場合でも同様であり、ポインタＰの動きを小さくして、意図した位置を簡単にポインティングすることができる。
【００５４】
また、第１の実施形態では、ポインタＰをゆっくり動かしていれば、補正モードが継続するので、広範囲に亘って細かい指示操作を続けて行うことができるといった利点がある。
【００５５】
また、ポインタＰを一時的にでも早く動かせば、通常のモードに戻るので、補正モードとの使い分けを容易に行うことができる。
【００５６】
なお、補正モードに切り換えられたときに、その旨をランプの点灯等によりオペレータに通知するようにしても良い。前記ランプは、図１に示すポインティング装置１１の本体上部など、視認し易い位置に設置しておく。そして、前記ステップＡ１９ａにて補正モードに切り換えられたときに点灯し、前記ステップＡ１９ａにて補正モードが解除されたときに消灯する。これにより、オペレータは、補正モードに切り換えられている場合にその状態を意識しながらポインタＰを動かしてポインティング操作することができる。
【００５７】
また、前記実施形態では、連続撮影の時間間隔（フレームレート）を３０分の１秒としたが、その他の時間間隔で連続撮影を行うことでも良い。
【００５８】
また、補正モードに切り換えるための判定速度を任意に設定できるようにしても良いし、補正モードに切り換えるための判定速度と通常モードに戻るための判定速度を変えるようにしも良い。
【００５９】
また、補正モードにおけるポインタＰの表示位置は、基準点（Ｘref，Ｙref）と点（Ｘi，Ｙi）との中点（つまり、１：１に分ける位置）に限らず、例えば１：２に分ける位置などであっても良い。
【００６０】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【００６１】
前記第１の実施形態では、ポインタＰの移動状態として移動速度を検出し、所定速度以下の状態が連続して続いた場合に補正モードに切り換えるようにした。これに対し、第２の実施形態では、ポインタＰの移動状態として移動範囲を検出し、その移動範囲が所定サイズ以下の場合に補正モードに切り換えるようにしたものである。
【００６２】
なお、図１のシステム構成や、図２の装置構成については同様であるため、ここでは第２の実施形態としての処理動作についてのみ説明する。
【００６３】
図１３は第２の実施形態におけるポインティング装置の処理動作を示すフローチャートである。前記第１の実施形態と同様に、このフローチャートで示される処理は、ポインティング装置１１に設けられたＣＰＵ３１が主記憶装置３２に記憶されたプログラム３２ａを読み込むことにより実行される。
【００６４】
前記第１の実施形態と同様に、ポインタ機能がオンされた状態で、ポインティング装置１１の先端部に設けられたカメラ１０をスクリーン１５に向けると、例えば３０分の１秒など、予め決められたフレームレートで連続撮影が行われ、横ピクセル数Ｗ、縦ピクセル数Ｈの撮影画像４１が順次得られる（ステップＢ１１）。そして、撮影画像４１とそこに含まれるスクリーン画像４２との相対関係から、撮影画像４１の中心点に対応したスクリーン上の位置（Ｘi，Ｙi）にポインタＰが表示される（ステップＢ１２〜Ｂ１５）。ポインタＰの表示後、ＯＮ／ＯＦＦボタン３３ａの操作によりポインタ機能がオフされた場合には（ステップＢ１６のＹｅｓ）、ここでの処理を終了する。
【００６５】
一方、ポインタ機能がオン状態であれば（ステップＢ１６のＮｏ）、引き続き、連続撮影によって順次得られる撮影画像４１を用いてポインタＰの表示がなされる。その際、ポインタＰが表示された各点の位置情報が主記憶装置３２の履歴記憶部３２ｂに記憶される。
【００６６】
ここで、第２の実施形態では、以下のようにして通常モードから補正モードへの切り換えがなされる。
【００６７】
すなわち、ＣＰＵ３１は、ポインティング装置１１のポインタ機能を起動してからＴ秒経過後に、その間に表示されたポインタＰの位置（Ｘi，Ｙi）を履歴記憶部３２ｂから読み出し、これらの位置（Ｘi，Ｙi）を内包できる最小の矩形をポインタＰの移動範囲として求める（ステップＢ１７）。
【００６８】
図１４にこの様子を示す。  
図中の×がＴ秒間にポインタＰが表示された位置を示しているものとする。これらの表示位置を内包できる（Ａ，Ｂ）、（Ｃ，Ｂ）、（Ａ，Ｄ）、（Ｃ，Ｄ）の４点で結ばれる矩形４３の範囲がＴ秒間のポインタＰの移動範囲を示している。
【００６９】
次に、ＣＰＵ３１は、前記矩形４３の縦、横の長さが所定の長さＶ，Ｌよりも短いか否かを判断する（ステップＢ１８）。このＶ，Ｌが補正モードの判定条件となる。前記矩形の縦、横の長さのどちらか一方がＶ，Ｌよりも長い場合、つまり、ポインタＰの移動範囲が所定の範囲よりも広い場合には（ステップＢ１８のＮｏ）、補正モードへ切り換えずに、そのまま通常モードでポインタＰを表示していくことになる。
【００７０】
一方、前記矩形４３の縦、横の長さがそれぞれＶ，Ｌよりも短い場合には、ＣＰＵ３１は、通常モードから補正モードに切り換えて（ステップＢ１８ａ）、以下のような処理を実行する。
【００７１】
すなわち、ＣＰＵ３１は、まず、前記矩形４３を構成する（Ａ，Ｂ）、（Ｃ，Ｂ）、（Ａ，Ｄ）、（Ｃ，Ｄ）の４点の座標から中央点の座標を求め、そこを基準点（Ｘref，Ｙref）として定める（ステップＢ１９）。
【００７２】
続いて、前回の撮影から１／３０秒経過して、新たな撮影画像４１が得られたときに（ステップＢ２０）、ＣＰＵ３１は、その撮影画像４１の中心点Ｏをスクリーン座標系に変換した位置（Ｘi，Ｙi）を求める（ステップＢ２１）。
【００７３】
ここで、図１５に示すように、前記基準点（Ｘref，Ｙref）を中心とする縦の長さが２Ｖ、横の長さが２Ｌとする矩形４４を補正モードの解除条件とする。ＣＰＵ３１は、この縦２Ｖ、横２Ｌの矩形４４の範囲内に今回の位置（Ｘi，Ｙi）が含まれるか否かを判断する（ステップＢ２２）。今回の位置（Ｘi，Ｙi）が矩形４４の範囲外であれば（ステップＢ２２のＮｏ）、ＣＰＵ３１は補正モードを解除して（ステップＢ２２ａ）、今回の撮影画像４１とスクリーン画像４２の相対関係から得られる位置（Ｘi，Ｙi）にポインタＰを表示させた後（ステップＢ２３）、ステップＢ１４の処理に戻る。
【００７４】
一方、今回の位置（Ｘi，Ｙi）が矩形４４の範囲内であれば（ステップＢ２２のＹｅｓ）、ＣＰＵ３１は、今回の位置（Ｘi，Ｙi）と前記ステップＢ１９で求めた基準点（Ｘref，Ｙref）との中点を補正後の表示位置として求め、その表示位置がスクリーン画像４２の領域内にあれば、そこにポインタＰを表示させる（ステップＢ２４）。また、ポインタＰの表示後、ポインタ機能がＯＦＦされるまでの間、ステップＢ２０からの処理を繰り返す。
【００７５】
図１５に補正モード時のポインタＰの表示位置を示す。  
通常モードでは、撮影画像４１とスクリーン画像４２の相対関係から得られる点（Ｘi，Ｙi）の位置にポインタＰが表示されるのに対し、補正モードでは、点（Ｘi，Ｙi）と基準点（Ｘref，Ｙref）との中点にポインタＰが表示されることになる。したがって、カメラ１０を速く動かしても、ポインタＰを少しずつ移動させることができる。通常モードに戻したいときには、ポインティング装置１１を矩形４４の範囲を超えるように大きく動かす。すると、補正モードの条件から外れるので、通常モードに戻る。
【００７６】
このように、第２の実施形態によれば、ポインタＰの移動範囲からオペレータがスクリーン１５上の細かい部分をポインティングしている状況が判断される。補正モードでは、前記第１の実施形態と同様に、カメラ１０の動きに対するポインタＰの動きが小さくなるので、スクリーン１５上の細かい部分を簡単にポインティングすることができる。
【００７７】
また、第２の実施形態では、ポインタＰを所定の範囲内で動かしていれば、ポインタＰを動かす速度に関係なく、補正モードが継続するので、連続的に細かい指示操作を行うように場合に便利である。
【００７８】
また、ポインタＰを一時的にでも大きく動かせば、通常のモードに戻るので、補正モードとの使い分けを容易に行うことができる。
【００７９】
また、補正モードに切り換えられたときに、その旨をランプの点灯等によりオペレータに通知するようにしても良い。
【００８０】
なお、図１３の例では、ポインタＰの履歴点が縦Ｖ，横Ｌの矩形範囲に入るかどうかを補正モードの判定条件にし（ステップＢ１８）、補正モードから抜ける条件を縦横それぞれ２倍の２Ｖ，２Ｌとして定めた（ステップＢ２２）。これは、補正モードに入った後に、ポインタＰを表示する位置の比率を１：１、つまり、基準点（Ｘref，Ｙref）と点（Ｘi ，Ｙi ）との中点としているため、その中点が縦Ｖ，横Ｌの矩形範囲内に入るかどうかで通常モードに戻るかどうかを決めているためである。
【００８１】
ただし、ステップＢ１８での矩形の大きさ、ステップＢ２２での矩形の大きさ、補正モードでポインタＰを表示するための基準点（Ｘref，Ｙref）と（Ｘi ，Ｙi ）に対する比率はこの組み合わせでなくても良いし、この３つの要素の大きさを全く無関係に決めても良い。
【００８２】
また、ステップＢ１８やステップＢ２２での矩形の大きさを、撮影画像に対するスクリーン画像の割合に応じて変えるようにしても良い。
【００８３】
また、前記第１と第２の実施形態を組み合わせて、補正モードに入るときは前記第１の実施形態のようにポインタＰの移動速度で判定し、通常モードに戻るときは前記第２の実施形態のように予め決められた矩形範囲からポインタＰがはみ出るかどうかで判定するようにしても良い。また、その逆に、補正モードに入るときにポインタＰの履歴点が予め決められた矩形範囲に入るかどうかで判定し、通常モードに戻るときにはポインタＰの移動速度で判定するようにしても良い。
【００８４】
要するに、本発明は前記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００８５】
また、上述した実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【図面の簡単な説明】
【００８６】
【図１】図１は本発明の第１の実施形態に係るポインティング装置を用いた投影システムの構成を示す図である。
【図２】図２は同実施形態における投影システムを構成するＰＣとポインティング装置の回路構成を示すブロック図である。
【図３】図３は同実施形態におけるポインティング装置に備えられたＣＰＵの機能構成を示すブロック図である。
【図４】図４は同実施形態における撮影画像とその中に含まれるスクリーン画像との関係を示す図である。
【図５】図５は同実施形態におけるスクリーンに対するポインタの位置を示す図である。
【図６】図６は同実施形態におけるスクリーンから離れた場所で操作している場合の撮影画像とその中に含まれるスクリーン画像との関係を示す図である。
【図７】図７は同実施形態におけるスクリーンを斜めから操作している場合の撮影画像とその中に含まれるスクリーン画像との関係を示す図である。
【図８】図８は同実施形態におけるスクリーン上のＰＣ画面の大まかな箇所を指し示す場合の一例を示す図である。
【図９】図９は同実施形態におけるスクリーン上のＰＣ画面の細かい箇所を指し示す場合の一例を示す図である。
【図１０】図１０は同実施形態におけるポインティング装置の処理動作を示すフローチャートである。
【図１１】図１１は同実施形態におけるポインティング装置にて得られる撮影画像とスクリーン画像との関係を説明するための図である。
【図１２】図１２は同実施形態におけるポインティング装置の補正モード時のポインタＰの表示位置を説明するための図である。
【図１３】図１３は本発明の第２の実施形態におけるポインティング装置の処理動作を示すフローチャートである。
【図１４】図１４は同実施形態におけるポインティング装置にて得られる撮影画像とポインタＰの履歴点との関係を説明するための図である。
【図１５】図１５は同実施形態におけるポインティング装置の補正モード時のポインタＰの表示位置を説明するための図である。
【符号の説明】
【００８７】
１０…カメラ、１１…ポインティング装置、１２…プロジェクタ、１３…ＰＣ、１４…通信ケーブル、１５…スクリーン、１６…投影画像、２１…ＣＰＵ、２２…主記憶装置、２３…表示記憶装置、２４…外部記憶装置、２５…表示装置、２６…入力装置、２７…通信装置、３１…ＣＰＵ、３２…主記憶装置、３２ａ…プログラム、３２ｂ…履歴記憶部、３３…操作部、３３ａ…ＯＮ／ＯＦＦボタン、３４…通信装置、４１…撮影画像、４２…スクリーン画像、４３…矩形、４４…矩形、Ｏ…撮影画像の中心点（カメラ画角の中心）、Ｐ…ポインタ。
【図１】
0005477833.tif 000002
【図２】
0005477833.tif 000003
【図３】
0005477833.tif 000004
【図４】
0005477833.tif 000005
【図５】
0005477833.tif 000006
【図６】
0005477833.tif 000007
【図７】
0005477833.tif 000008
【図８】
0005477833.tif 000009
【図９】
0005477833.tif 000010
【図１０】
0005477833.tif 000011
【図１１】
0005477833.tif 000012
【図１２】
0005477833.tif 000013
【図１３】
0005477833.tif 000014
【図１４】
0005477833.tif 000015
【図１５】
0005477833.tif 000016