(57)【要約】【課題】操作環境が悪くても、常に意図した位置を正確にポインティングすることができるポインティング装置を提供する。【解決手段】ポインティング装置に設けられたカメラによってポインティング領域となるスクリーンが撮影された際に、その撮影画像４１からスクリーン画像４２を検出する。このスクリーン画像４２の撮影画像４１に対する大きさに応じて、スクリーン画像４２の輪郭をその中心点Ｑを基準に所定の大きさまで仮想的に広げて仮想スクリーン画像４３を生成する。この仮想スクリーン画像４３上での撮影画像４１の中心点Ｏを操作者のポインティング位置として認識し、スクリーンの該当する位置にポインタを表示させる。【選択図】      図９
2008084002.tif 000002
【特許請求の範囲】
【請求項１】
ポインティング領域の任意の位置をポインティングするためのポインティング装置であって、
前記ポインティング領域を撮影する撮影手段と、
この撮影手段によって得られた撮影画像から前記ポインティング領域に対応した画像を検出する画像検出手段と、
この画像検出手段によって検出されたポインティング領域画像と前記撮影画像との相対関係に応じて、前記ポインティング領域画像の輪郭をその中心点を基準に所定の大きさまで仮想的に広げて仮想領域を生成する仮想領域生成手段と、
この仮想領域生成手段によって生成された仮想領域上での前記撮影画像の中心点を操作者のポインティング位置として認識し、前記ポインティング領域の該当する位置にポインタを表示させるポインティング手段と
を具備したことを特徴とするポインティング装置。
【請求項２】
前記仮想領域生成手段は、前記ポインティング領域画像の前記撮影画像に対する縦横方向のサイズの比率が所定値以下であることを条件として、前記ポインティング領域画像の中心点を基準にした仮想領域を生成することを特徴とする請求項１記載のポインティング装置。
【請求項３】
前記条件を満たさない場合に、前記ポインティング領域からポインタを消去させるエラー手段を具備したことを特徴とする請求項２記載のポインティング装置。
【請求項４】
前記仮想領域生成手段は、前記ポインティング領域画像の中心点の位置が前記撮影画像内の所定の範囲内であることを条件として、前記ポインティング領域画像の中心点を基準にした仮想領域を生成することを特徴とする請求項１記載のポインティング装置。
【請求項５】
前記条件を満たさない場合に、前記ポインティング領域からポインタを消去させるエラー手段を具備したことを特徴とする請求項４記載のポインティング装置。
【請求項６】
前記仮想領域生成手段は、前記ポインティング領域画像の輪郭を縦横方向に均等に広げて、当該画像と相似形の仮想領域を生成することを特徴とする請求項１記載のポインティング装置。
【請求項７】
前記仮想領域生成手段は、前記ポインティング領域画像の輪郭を縦方向と横方向にそれぞれ所定のサイズまで広げて、矩形状の仮想領域を生成することを特徴とする請求項１記載のポインティング装置。
【請求項８】
ポインティング領域の任意の位置をポインティングするためのポインティング方法であって、
前記ポインティング領域にカメラを向けて撮影し、
前記カメラによって得られた撮影画像から前記ポインティング領域に対応した画像を検出し、
前記ポインティング領域画像と前記撮影画像との相対関係に応じて、前記ポインティング領域画像の輪郭をその中心点を基準に所定の大きさまで仮想的に広げて仮想領域を生成し、
前記仮想領域上での前記撮影画像の中心点を操作者のポインティング位置として認識し、前記ポインティング領域の該当する位置にポインタを表示させる
ことを特徴とするポインティング方法。
【請求項９】
ポインティング領域の任意の位置をポインティングするためのカメラ付きポインティング装置に用いられ、そのポインティング装置内に設けられたコンピュータによって実行されるプログラムであって、
前記コンピュータに、
前記ポインティング領域に前記カメラを向けて撮影したときに得られた撮影画像から前記ポインティング領域に対応した画像を検出する機能と、
前記ポインティング領域画像と前記撮影画像との相対関係に応じて、前記ポインティング領域画像の輪郭をその中心点を基準に所定の大きさまで仮想的に広げて仮想領域を生成する機能と、
前記仮想領域上での前記撮影画像の中心点を操作者のポインティング位置として認識し、前記ポインティング領域の該当する位置にポインタを表示させる機能と
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばコンピュータ画面をプロジェクタによりスクリーン上に投影するシステムに用いられ、そのスクリーン上の任意の位置をポインティングしてコンピュータ画面に反映させる機能を備えたカメラ付きのポインティング装置と、同装置に用いられるポインティング方法及びプログラムに関する。
【背景技術】
【０００２】
近年、所謂「カメラポインタ」と呼ばれるカメラ付きのポインティング装置を用いて、スクリーン上の任意の位置をポインティングしてコンピュータ画面に反映させるシステムが知られている（例えば、特許文献１参照）。
【０００３】
前記ポインティング装置の先端部にはカメラが設けられており、そのカメラにて撮影された画像の中心（画角の中心）を操作者のポインティング位置（指定位置）として認識することで、スクリーン上の該当する位置にポインタを表示させている。
【特許文献１】特開２００１−１６６８８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したようなカメラ付きのポインティング装置では、カメラを向けた位置にポインタを表示させることができる。しかしながら、ポインティング領域となるスクリーンに対し、離れた場所でカメラを向けて操作するような場合、スクリーンが小さく撮影されるために、カメラの向きを少し変えただけでも、ポインティング位置が大きく変わってしまい、意図した位置を正確にポインティングできないといった問題がある。
【０００５】
本発明は前記のような点に鑑みなされたもので、操作環境が悪くても、常に意図した位置を正確にポインティングすることのできるポインティング装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のポインティング装置は、ポインティング領域の任意の位置をポインティングするためのポインティング装置であって、前記ポインティング領域を撮影する撮影手段と、この撮影手段によって得られた撮影画像から前記ポインティング領域に対応した画像を検出する画像検出手段と、この画像検出手段によって検出されたポインティング領域画像と前記撮影画像との相対関係に応じて、前記ポインティング領域画像の輪郭をその中心点を基準に所定の大きさまで仮想的に広げて仮想領域を生成する仮想領域生成手段と、この仮想領域生成手段によって生成された仮想領域上での前記撮影画像の中心点を操作者のポインティング位置として認識し、前記ポインティング領域の該当する位置にポインタを表示させるポインティング手段とを具備して構成される。
【発明の効果】
【０００７】
本発明によれば、操作環境が悪く、ポインティング領域が小さく撮影されているような場合や、ポインティング領域が傾いて撮影されているような場合であっても、常に意図した位置を正確にポインティングすることができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の実施形態を説明する。
【０００９】
（第１の実施形態）
図１は本発明の第１の実施形態に係るポインティング装置を用いた投影システムの構成を示す図である。
【００１０】
本システムは、ポインティング装置１１、プロジェクタ１２、ＰＣ（Personal Computer）１３からなる。プロジェクタ１２とＰＣ１３とは通信ケーブル１４を介して接続されており、プロジェクタ１２はＰＣ１３の表示画面を投影対象としてスクリーン１５上に投影表示する。
【００１１】
なお、プロジェクタ１２とＰＣ１３との接続形態は、図１の例では通信ケーブル１４を用いているが、無線通信を利用することも可能である。スクリーン１５は、例えばホワイトボードなどであり、プロジェクタ１２と対向させて設置される。図中の１６はスクリーン１５に投影されたＰＣ画面の投影画像である。
【００１２】
ポインティング装置１１は、スクリーン１５の任意の位置をポインティング操作するためのものである。このポインティング装置１１の先端部にはカメラ１０が設置されており、このカメラ１０で撮影された画像を用いて現在のポインティング位置（指定位置）を検出し、その位置信号をワイヤレス通信などでＰＣ１３に送出する。これにより、ＰＣ１３では、ポインティング装置１１から送られてくる位置信号に基づいて、画面上の該当する位置にポインタＰを表示するなどの処理を行う。
【００１３】
図２は投影システムを構成するＰＣ１３とポインティング装置１１の回路構成を示すブロック図である。
【００１４】
本システムにおいて、ＰＣ１３は、プレゼン用の画像を表示するための装置として用いられる。このＰＣ１３には、ＣＰＵ２１、主記憶装置２２、表示記憶装置２３、外部記憶装置２４、表示装置２５、入力装置２６、通信装置２７などが設けられている。また、このＰＣ１３には、通信ケーブル１４を介してプロジェクタ１２が接続される。
【００１５】
ＣＰＵ２１は、ＰＣ１３の全体の制御を行うものであり、プレゼン用の画像の表示処理などを行う。主記憶装置２２は、ＲＯＭなどからなり、ＣＰＵ２１の処理動作に必要な各種データを記憶している。表示記憶装置２３は、プレゼン用の画像を記憶している。外部記憶装置２４は、ハードディスク装置などからなる。
【００１６】
表示装置２５は、ＬＣＤ（Liquid Crystal Display）などからなり、表示記憶装置２３から読み出されたプレゼン用の画像などを表示する。このとき表示された画像は、通信ケーブル１４を介してプロジェクタ１２に転送され、図１に示したスクリーン１５上に投影される。
【００１７】
入力装置２６は、キーボードなどからなり、各種データの入力や指示を行う場合に用いられる。通信装置２７は、ポインティング装置１１側の通信装置３４との間でデータを送受信する。なお、ＰＣ１３とポインティング装置１１との間の通信形態は、有線でも無線でも良い。ただし、図１のように、ポインティング装置１１はＰＣ１３とは離れた場所で操作されるため、無線の方が好ましい。
【００１８】
一方、ポインティング装置１１には、ＣＰＵ３１、主記憶装置３２、操作部３３、通信装置３４、そして、カメラ１０が設けられている。
【００１９】
ＣＰＵ３１は、ポインティング装置１１の全体の制御を行うものであり、後述するポインティング操作に関わる一連の処理を実行する。主記憶装置３２には、そのポインティング操作を実現するためのプログラム３２ａの他、ＣＰＵ３１の動作に必要な各種データを記憶している。操作部３３には、ポインタ機能をＯＮ／ＯＦＦするためのＯＮ／ＯＦＦボタン３３ａを含む各種操作ボタンが設けられている。通信装置３４は、ＰＣ１３側の通信装置２７との間でデータを送受信する。
【００２０】
また、カメラ１０は、ポインティング装置１１の先端部に設けられている。このカメラ１０は、ポイント機能がＯＮされた状態で所定の間隔（例えば１／３０秒間隔）で撮影動作を連続して行う。
【００２１】
以下では、説明を簡単にするために、スクリーン１５の投影面全体にＰＣ画面の投影画像１６が表示されているものとして説明する。
【００２２】
図３は撮影画像とその中に含まれるスクリーン画像との関係を示す図、図４はスクリーンに対するポインタの位置を示す図である。
【００２３】
まず、ＰＣ１３の表示画面がプロジェクタ１２を介してスクリーン１５上に投影される。操作者はポインティング装置１１の先端部に設けられたカメラ１０をスクリーン１５に向けてポインティング操作を行う。
【００２４】
図３および図４に示すように、カメラ１０にて撮影された画像４１の中心点（カメラ１０の画角の中心）をＯとすると、その中心点Ｏが操作者の指し示す位置となる。この中心点Ｏがスクリーン画像４２の領域内にあれば、ＰＣ１３を通じてポインタＰがスクリーン１５上の該当位置に表示される。
【００２５】
このように、ポインティング装置１１では、カメラ１０を向けた位置を操作者のポインティング位置として認識し、スクリーン１５上の該当する位置にポインタＰを表示させることができる。ところが、スクリーン１５から離れた場所で操作する場合、図５に示すように、スクリーン１５が小さく撮影されるため、操作者がカメラ１０の向きを少し変えただけでも、ポインタＰが大きく動いてしまい、意図した位置を正確にポインティングできないといった問題がある。
【００２６】
また、スクリーン１５までの距離は適正であっても、スクリーン１５に対して斜めから操作するような場合であれば、図６に示すようにスクリーン１５が歪んで撮影されるので、その歪んだ部分に対するポインティング操作は難しくなる。
【００２７】
以下に、このような問題を解消するための手法について説明する。
【００２８】
図７は第１の実施形態におけるポインティング装置の処理動作を示すフローチャートである。なお、このフローチャートで示される処理は、ポインティング装置１１に設けられたＣＰＵ３１が主記憶装置３２に記憶されたプログラム３２ａを読み込むことにより実行される。
【００２９】
まず、ポインティング装置１１の操作部３３に設けられたＯＮ／ＯＦＦボタン３３ａを操作してポインタ機能をオンする（ステップＡ１１のＹｅｓ）。この状態で、ポインティング装置１１の先端部に設けられたカメラ１０をスクリーン１５に向けると、所定の時間間隔で連続撮影が行われ、図８に示すように、横ピクセル数Ｗ、縦ピクセル数Ｈの撮影画像４１が得られる（ステップＡ１２）。
【００３０】
ＣＰＵ３１は、カメラ１０を通じて撮影画像４１を得ると、その中からポインティング領域となるスクリーン画像４２の領域を検出し、その輪郭を抽出する（ステップＡ１３）。なお、撮影画像の中から特定部分の領域を検出する方法は公知であるため、ここではその説明を省略するものとする。
【００３１】
次に、ＣＰＵ３１は、スクリーン画像４２の縦横それぞれの最大の長さをピクセル単位で算出すると共に（ステップＡ１４）、そのスクリーン画像４２の中心座標を算出する（ステップＡ１５）。
【００３２】
ここで、図８に示すように、スクリーン画像４２の横方向の最大長をＳｗ、縦方向の最大長をＳｈとする。また、スクリーン画像４２の中心座標をＱ（Ｘｓ，Ｙｓ）とする。なお、図中の×マークは撮影画像４１の中心点Ｏ（カメラ１０の画角の中心）を示している。上述したように、この中心点Ｏが操作者の差し示している位置となる。
【００３３】
ＣＰＵ３１は、スクリーン画像４２の横と縦のそれぞれの最大長Ｓｗ，Ｓｈが撮影画像４１の横と縦のピクセル数Ｗ，Ｈの１／２以内であるか否かを判断する（ステップＡ１６）。Ｓｗ，ＳｈがＷ，Ｈの１／２以内でない場合、つまり、Ｓｗ＜Ｗ／２、かつ、Ｓｈ＜Ｈ／２の条件を満たさない場合には（ステップＡ１６のＮｏ）、例えば操作者がスクリーン１５の端を指そうとしてカメラ１０を向けた際に、スクリーン画像４２の反対側の端が撮影画像４１の外側からはみ出てしまうことになる。このような場合には、ＣＰＵ３１は、ポインティング装置１１がスクリーン１５に近寄りすぎであると判断し、エラーとしてスクリーン１５からポインタＰを消去させるようにＰＣ１３に指示を送る（ステップＡ１７）。
【００３４】
また、ＣＰＵ３１は、スクリーン画像４２の中心点Ｑ（Ｘｓ，Ｙｓ）が撮影画像４１の中央寄り１／４の領域内に入っているか否かを判断する（ステップＡ１８）。中心点Ｑ（Ｘｓ，Ｙｓ）が撮影画像４１の中央寄り１／４の領域内に入っていない場合、つまり、Ｗ／４＜Ｘｓ＜（３Ｗ）／４、かつ、Ｈ／４＜Ｙｓ＜（３Ｈ）／４の条件を満たさない場合には（ステップＡ１８のＮｏ）、スクリーン画像４２を仮想的に広げた際に撮影画像４１からはみ出てしまうので、前記同様にエラーとして、スクリーン１５からポインタＰを消去させるようにＰＣ１３に指示を送る（ステップＡ１９）。
【００３５】
一方、前記ステップＡ１６，Ａ１８の条件を満たす場合において、ＣＰＵ３１は、以下のような仮想領域の生成処理を実行する。
【００３６】
すなわち、図９に示すように、撮影画像４１におけるスクリーン画像４２の中心点Ｑ（Ｘｓ，Ｙｓ）を基準にして、その輪郭を横にＷ／（２Ｓｗ）倍、縦にＨ／（２Ｓｈ）倍して、横と縦のそれぞれの最大部分のピクセル数がＷ／２、Ｈ／２となる仮想スクリーン画像４３を仮想領域として生成する（ステップＡ２０）。この仮想領域（仮想スクリーン画像４３）は、スクリーン画像４２の輪郭を縦横方向にそれぞれ均等倍したものであるので、スクリーン画像４２と相似形となる。
【００３７】
なお、前記ステップＡ１８の条件を満たしていたとしても、スクリーン画像４２が矩形でない場合には、撮影画像４１の中心点Ｏ（Ｗ／２，Ｈ／２）が仮想スクリーン画像４３の領域内に入らないこともある。そのような場合には（ステップＡ２１のＮｏ）、スクリーン１５内をポインティング操作することができないので、スクリーン１５からポインタＰを消去させるようにＰＣ１３に指示を送る（ステップＡ２２）。
【００３８】
以降の処理は、仮想スクリーン領域をスクリーン領域と同じように考えれば、従来のカメラポインタと同様である。
【００３９】
すなわち、まず、ＣＰＵ３１は、操作者のポインティング位置に相当する撮影画像４１の中心点Ｏ（Ｗ／２，Ｈ／２）を仮想スクリーン画像４３の座標系に換算する（ステップＡ２３）。この座標をそのまま表示した場合、手ぶれがそのままポインタのふらつきとなってしまう。これを防いで見やすいものとするために、ＣＰＵ３１は、前記換算により得られた座標に時間軸上のローパスフィルタ等のぶれ補正処理を施した後、当該座標位置を示す信号をポインティング位置信号としてＰＣ１３に送出することにより、スクリーン１５の該当する位置にポインタＰを表示させる（ステップＡ２４）。
【００４０】
このような処理を例えば１／３０秒間隔で繰り返す（ステップＡ２５のＹｅｓ）。そして、ＯＮ／ＯＦＦボタン３３ａの操作によりポインタ機能がＯＦＦされたら（ステップＡ１１のＮｏ）、ここでの一連の処理を終了する。
【００４１】
ここで、図１０乃至図１４を用いて、上述した処理動作によって実現される本発明のポインティング操作について従来方式と比較しながら詳しく説明する。
【００４２】
図１０および図１１は従来のポインティング操作を説明するための図である。図１０は撮影画像とそこに含まれるスクリーン画像との関係を示す図、図１１はスクリーンに対するポインタの位置を示す図であり、それぞれに（ａ）図はポインティング装置がスクリーンに近い場合、（ｂ）図はポインティング装置がスクリーンから遠い場合を示している。また、図１２および図１３は本発明のポインティング操作を説明するための図である。図１２は図１０に対応し、図１３は図１１に対応している。
【００４３】
ポインティング装置１１がスクリーン１５に近い場合には、図１０（ａ）および図１１（ａ）、図１２（ａ）および図１３（ａ）に示すように、従来方式でも本発明の方式でも変わらない。すなわち、撮影画像４１におけるスクリーン画像４２の範囲がポインティングの認識領域となり、その認識領域内の撮影画像４１の中心点Ｏ（カメラ画角の中心）の位置が実際のスクリーン１５上でのポインティング位置（つまり、操作者が指し示した位置）となる。
【００４４】
一方、ポインティング装置１１がスクリーン１５から遠い場合には、カメラ１０にてスクリーン１５が小さく撮影される。この場合、従来方式では、図１０（ｂ）および図１１（ｂ）に示すように、小さく撮影されたスクリーン画像４２の領域の中で中心点Ｏが認識されるために、カメラ１０の向きを少し動かしただけで、スクリーン１５上ではポインタＰが大きく動いてしまう。
【００４５】
これに対し、本発明の方式では、図１２（ｂ）および図１３（ｂ）に示すように、ポインティング装置１１がスクリーン１５から遠い場合には、ポインティングの認識領域（仮想スクリーン画像４３）が従来よりも広がるため、カメラ１０の動きに対してスクリーン１５上でポインタＰの位置が大きく変化することがなくなる。よって、操作者の意図した位置を正確にポインティングできるようになる。
【００４６】
これは、スクリーン１５を斜めから撮影しているような場合でも同様であり、仮想スクリーン画像４３の生成によってポインティングの認識領域が広げるため、スクリーン画像４２の歪んだ部分に対しても容易にポインティング操作できるようになる。
【００４７】
このように、スクリーン１５が小さく撮影されている場合、あるいは、傾いて撮影されている場合であっても、撮影画像４１におけるスクリーン画像４２の領域を仮想的に広げることで、操作者のポインティング操作を容易にして、意図した位置を正確にポインティングできるようになる。
【００４８】
また、スクリーン画像４２の領域を仮想的に広げても、スクリーン画像４２の形状は反映されるので、カメラ１０を向けている方向と実際に表示されるポインタＰの位置ズレを感覚的にも把握しやすいといった利点もある。
【００４９】
さらに、スクリーン画像４２の領域を仮想的に広げるようにしても、マウスやトラックボール、トラックパッドのような相対位置入力デバイスではなく、絶対位置入力デバイスであるという特長は失わないといった利点もある。
【００５０】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。  
前記第１の実施形態では、撮影画像におけるスクリーン画像を縦横方向に均等倍することで、元のスクリーン画像と相似形の仮想スクリーン画像を生成し、その仮想スクリーン画像の領域を新たなポインティングの認識領域として用いるようにした。
【００５１】
これに対し、第２の実施形態では、撮影画像におけるスクリーン画像の縦横の倍率を変えて矩形状の仮想スクリーン画像を生成し、その仮想スクリーン画像の領域を新たなポインティングの認識領域として用いて、ポインティング位置の計算を行うことを特徴としている。
【００５２】
なお、図１のシステム構成や、図２の装置構成については同様であるため、ここでは第２の実施形態としての処理動作についてのみ説明する。
【００５３】
図１４は第２の実施形態におけるポインティング装置の処理動作を示すフローチャートである。前記第１の実施形態と同様に、このフローチャートで示される処理は、ポインティング装置１１に設けられたＣＰＵ３１が主記憶装置３２に記憶されたプログラム３２ａを読み込むことにより実行される。
【００５４】
図１４において、ステップＢ１１〜Ｂ１８までの処理は図７のステップＡ１１〜Ａ１８と同様である。
【００５５】
すなわち、ポインティング装置１１の操作部３３に設けられたＯＮ／ＯＦＦボタン３３ａの操作によりポインタ機能がオンされた状態で（ステップＢ１１のＹｅｓ）、カメラ１０により所定の時間間隔で連続撮影が行われ、図１５に示すように、横ピクセル数Ｗ、縦ピクセル数Ｈの撮影画像４１が得られる（ステップＢ１２）。
【００５６】
ＣＰＵ３１は、その撮影画像４１の中からポインティング領域となるスクリーン画像４２の領域を検出し（ステップＢ１３）、そのスクリーン画像４２の横方向の最大長Ｓｗ、縦方向の最大長Ｓｈ、中心点Ｑ（Ｘｓ，Ｙｓ）を算出する（ステップＢ１４，Ｂ１５）。
【００５７】
ここで、Ｓｗ＜Ｗ／２、かつ、Ｓｈ＜Ｈ／２でない場合には（ステップＢ１６のＮｏ）、ＣＰＵ３１は、エラーとしてポインタＰを消去させるようにＰＣ１３に指示を送る（ステップＢ１７）。また、Ｗ／４＜Ｘｓ＜（３Ｗ）／４、かつ、Ｈ／４＜Ｙｓ＜（３Ｈ）／４でない場合も同様であり（ステップＢ１８のＮｏ）、ＣＰＵ３１は、エラーとしてポインタＰを消去させるようにＰＣ１３に指示を送る（ステップＢ１９）。
【００５８】
一方、前記ステップＢ１６，Ｂ１８の条件を満たす場合において、ＣＰＵ３１は、以下のような仮想領域の生成処理を実行する。第２の実施形態において、この仮想領域の生成処理が前記第１の実施形態とは異なる。
【００５９】
すなわち、図１５に示すように、ＣＰＵ３１は、撮影画像４１におけるスクリーン画像４２の中心点Ｑ（Ｘｓ，Ｙｓ）を基準にして縦方向と横方向でそれぞれに異なる倍率で拡大することにより、横と縦のピクセル数がＷ／２、Ｈ／２となる矩形状の仮想スクリーン画像４４を仮想領域として生成する（ステップＢ２０）。
【００６０】
ここで、ポインタＰの位置を算出するには、仮想スクリーン画像４４のどこに撮影画像４１の中心点Ｏ（Ｗ／２，Ｈ／２）があるかを従来のカメラポインと同様に計算する。その際、本実施形態では、仮想スクリーン画像４４が矩形であるので、以下のように計算処理を簡単化することができる（ステップＢ２１）。
【００６１】
まず、図１５に示すように、まず、仮想スクリーン画像４４の中心点Ｑ（Ｘｓ，Ｙｓ）と撮影画像４１の中心点Ｏ（Ｗ／２，Ｈ／２）の差をピクセル数で求める。この例では、横方向にＤｘピクセル、縦方向にＤｙピクセルの差があるものとする。また、仮想スクリーン画像４４の輪郭は必ず横方向がＷ／２ピクセル、縦方向がＨ／２ピクセルであるとする。
【００６２】
一方、図１６に示すように、スクリーン１５の投影画像が横Ｓｘピクセル、縦Ｓｙピクセルであるとする。そして、スクリーン１５の中心点ＲとポインタＰを描画する位置との差をＸピクセル、Ｙピクセルとすると、次のような関係が成り立つ。
【００６３】
Ｄｘ：Ｗ／２＝Ｘ：Ｓｘ
Ｄｙ：Ｈ／２＝Ｙ：Ｓｙ
これにより、Ｘ＝２Ｄｘ・Ｓｘ／Ｗピクセル、Ｙ＝２Ｄｙ・Ｓｙ／Ｈピクセルとなる。つまり、簡単な比の計算でポインタＰの表示位置を算出することができる。なお、図１５のＤｘ、Ｄｙ、Ｗ、Ｈの各ピクセル数は、すべて撮影画像４１上のピクセル数であり、図１６はＸ、Ｙ、Ｓｘ、Ｓｙの各ピクセル数は、すべてスクリーン１５の投影画像上のピクセル数である。
【００６４】
以降の処理は図７のステップＡ２４〜Ａ２５と同様である。すなわち、ＣＰＵ３１は、前記換算により得られた座標に時間軸上のローパスフィルタ等のぶれ補正処理を施した後、当該座標位置を示す信号をポインティング位置信号としてＰＣ１３に送出することにより、スクリーン１５の該当する位置にポインタＰを表示させる（ステップＢ２２）。
【００６５】
このような処理を例えば１／３０秒間隔で繰り返す（ステップＢ２３のＹｅｓ）。そして、ＯＮ／ＯＦＦボタン３３ａの操作によりポインタ機能がＯＦＦされたら（ステップＢ１１のＮｏ）、ここでの一連の処理を終了する。
【００６６】
このように、第２の実施形態では、撮影画像４１におけるスクリーン画像４２の領域を撮影画像４１の１／４の短形状に仮想的に広げることでも、前記第１の実施形態と同様に、操作者のポインティング操作を容易にして、意図した位置を正確にポインティングできるようになる。
【００６７】
また、スクリーン画像４２の領域を矩形状に広げたことで、スクリーン１５を斜めから撮影しているような場合に、単に拡大しただけでは短いままの辺に対しても伸ばすことができるので、どこからポインティング操作しても真正面から操作しているような快適性を得ることができる。
【００６８】
また、スクリーン１５からの距離に関係なく、カメラ１０を振る角度とポインタＰが動くピクセル数をいつも一定とすることができるという利点もある。
【００６９】
さらに、撮影画像４１の中心点Ｏ（カメラ画角の中心）をスクリーン１５上の座標位置に換算する際に複雑な計算を必要とせずに、撮影画像４１の中心点Ｏと撮影画像４１の中のスクリーン画像４２の中心点Ｑとの位置関係のみでポインタＰの位置を簡単に算出できるという利点もある。
【００７０】
なお、前記第１のおよび第２の実施形態では、ＰＣ画面が投影されたスクリーン１５をポインティング領域として説明したが、例えば液晶大画面のように、スクリーン１５に代わるような表示画面をポインティング領域として、そこに直接ポインティング操作するような場合でも本発明の手法を適用することが可能である。
【００７１】
要するに、本発明は前記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００７２】
【図１】図１は本発明の第１の実施形態に係るポインティング装置を用いた投影システムの構成を示す図である。
【図２】図２は同実施形態における投影システムを構成するＰＣとポインティング装置の回路構成を示すブロック図である。
【図３】図３は同実施形態における撮影画像とその中に含まれるスクリーン画像との関係を示す図である。
【図４】図４は同実施形態におけるスクリーンに対するポインタの位置を示す図である。
【図５】図５は同実施形態におけるスクリーンから離れた場所で操作している場合の撮影画像とその中に含まれるスクリーン画像との関係を示す図である。
【図６】図６は同実施形態におけるスクリーンを斜めから操作している場合の撮影画像とその中に含まれるスクリーン画像との関係を示す図である。
【図７】図７は同実施形態におけるポインティング装置の処理動作を示すフローチャートである。
【図８】図８は同実施形態におけるポインティング装置にて得られる撮影画像の一例を示す図である。
【図９】図９は同実施形態におけるポインティング装置にて得られる仮想スクリーン画像の一例を示す図である。
【図１０】図１０は従来のポインティング操作を説明するための図であって、撮影画像とそこに含まれるスクリーン画像との関係を示す図であり、図１０（ａ）はポインティング装置がスクリーンに近い場合、図１０（ｂ）はポインティング装置がスクリーンから遠い場合を示している。
【図１１】図１１は従来のポインティング操作を説明するための図であって、スクリーンに対するポインタの位置を示す図であり、図１１（ａ）はポインティング装置がスクリーンに近い場合、図１１（ｂ）はポインティング装置がスクリーンから遠い場合を示している。
【図１２】図１２は本発明のポインティング操作を説明するための図であって、撮影画像とそこに含まれるスクリーン画像との関係を示す図であり、図１２（ａ）はポインティング装置がスクリーンに近い場合、図１２（ｂ）はポインティング装置がスクリーンから遠い場合を示している。
【図１３】図１３は本発明のポインティング操作を説明するための図であって、スクリーンに対するポインタの位置を示す図であり、図１３（ａ）はポインティング装置がスクリーンに近い場合、図１３（ｂ）はポインティング装置がスクリーンから遠い場合を示している。
【図１４】図１４は本発明の第２の実施形態におけるポインティング装置の処理動作を示すフローチャートである。
【図１５】図１５は同実施形態におけるポインティング装置にて得られる仮想スクリーン画像の一例を示す図である。
【図１６】図１６は同実施形態におけるスクリーンに対するポインタの位置の算出方法を示す図である。
【符号の説明】
【００７３】
１０…カメラ、１１…ポインティング装置、１２…プロジェクタ、１３…ＰＣ、１４…通信ケーブル、１５…スクリーン、１６…投影画像、２１…ＣＰＵ、２２…主記憶装置、２３…表示記憶装置、２４…外部記憶装置、２５…表示装置、２６…入力装置、２７…通信装置、３１…ＣＰＵ、３２…主記憶装置、３３…操作部、３３ａ…ＯＮ／ＯＦＦボタン３３ａ、３４…通信装置、４１…撮影画像、４２…スクリーン画像、４３…仮想スクリーン画像、４４…仮想スクリーン画像、Ｏ…撮影画像の中心点（カメラ画角の中心）、Ｐ…ポインタ、Ｑ…撮影画像上のスクリーン画像の中心点、Ｒ…スクリーンの中心点。
【図１】
2008084002.tif 000003
【図２】
2008084002.tif 000004
【図３】
2008084002.tif 000005
【図４】
2008084002.tif 000006
【図５】
2008084002.tif 000007
【図６】
2008084002.tif 000008
【図７】
2008084002.tif 000009
【図８】
2008084002.tif 000010
【図９】
2008084002.tif 000011
【図１０】
2008084002.tif 000012
【図１１】
2008084002.tif 000013
【図１２】
2008084002.tif 000014
【図１３】
2008084002.tif 000015
【図１４】
2008084002.tif 000016
【図１５】
2008084002.tif 000017
【図１６】
2008084002.tif 000018