(57)【要約】【課題】  投影画像にポイント画像を表示する技術において、複雑な位置合わせが不要であり、さらに直視が望ましくないレーザを用いることなく、また任意の場所に向けた画像指示装置によるポイント画像の位置制御が行える技術を提供する。【解決手段】  画像指示装置１０１を操作して、スクリーン１０２上にポイント画像１０３を表示させる構成において、画像指示装置１０１が撮像した撮像視野１０４内の画像の移動を検出し、この画像の移動に対応させてポイント画像１０３の移動方向と移動量を算出する。そして、この算出結果に基づいてポイント画像１０３を投影装置１０５からスクリーン１０２に投影された表示画像中に合成する。これにより、画像指示装置１０１の指向方向の変化に対応して、ポイント画像１０３の位置を制御できる。【選択図】  図１
2005215828.tif 000002
【特許請求の範囲】
【請求項１】
画像指示装置に備えた撮像装置によって撮像された画像の移動を検出する画像移動検出手段と、
前記画像の移動に対応させてポイント画像の移動方向と移動量を算出する演算手段と、
ポイント画像を表示画像中に合成するための信号を生成する信号生成手段と
を備え、
前記ポイント画像の表示位置を、前記画像指示装置によって撮像された画像の移動に対応させて移動させることを特徴とするポインティング装置。
【請求項２】
前記画像移動検出手段では、
所定の時点において、撮像画面中に設定された複数の監視ポイントの少なくとも一つにおける第１の画像データを記憶し、
前記所定の時点以降において、前記複数の監視ポイントから得られる第２の画像データと前記記憶した第１の画像データとを比較し、
前記比較から前記第１および前記第２の画像データ間の違いを検出し、
前記画像データ間の違いから前記撮像した画像の移動方向および移動量を算出することを特徴とする請求項１に記載のポインティング装置。
【請求項３】
前記監視ポイントは、マトリクス状に分割された画素の集合であることを特徴とする請求項２に記載のポインティング装置。
【請求項４】
前記画像の移動量に対応したポイント画像の移動量を調整する移動量調整手段をさらに備えることを特徴とする請求項１〜３のいずれかに記載のポインティング装置。
【請求項５】
グラフィカル・ユーザ・インターフェース操作手段を制御する制御信号を生成する制御信号生成装置をさらに備えることを特徴とする請求項１〜４のいずれかに記載のポインティング装置。
【請求項６】
撮像した画像の移動を検出する画像移動検出ステップと、
前記画像の移動に対応させてポイント画像の移動方向と移動量を算出する演算ステップと、
前記演算ステップの演算結果に基づいてポイント画像を表示画像中に合成するための信号を生成する信号生成ステップと
を備えることを特徴とするポイント画像の表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影画像等に表示したポイント画像を制御する技術に関し、画像指示装置に備えた撮像装置が撮像した画像を利用して、ポイント画像の表示位置の制御を行なう技術に関する。
【背景技術】
【０００２】
画像をスクリーン上に投影し、プレゼンテーションを行なう方法が知られている。この際、スクリーン上に特定の画像を指し示すポイント画像（たとえば光点や矢印の画像）を重ね合わせて表示する技術が知られている。
【０００３】
このような技術として、特許文献１〜４に記載されたような技術が公知である。特許文献１には、画像投影装置からスクリーン上に投影された画像にポイント画像を重ねる構成において、ポイント画像を操作するための画像指示装置から超音波を発生させ、その超音波をスクリーン側に設けたセンサで検出し、それにより画像指示装置が指し示している箇所を特定し、ポイント画像をスクリーン上に表示する技術が記載されている。
【０００４】
特許文献２および３には、特許文献１と同様な技術分野において、画像指示装置から赤外線あるいは指示光を照射し、スクリーン上におけるその照射位置を特定することで、ポイント画像の表示位置を制御する技術が記載されている。
【０００５】
特許文献４には、画像指示装置から赤外線をスクリーン上に照射し、ポイント画像の表示位置を決める技術において、座標検出の基準位置をスクリーン上に投影する技術が記載されている。
【０００６】
【特許文献１】特開２００２−２０７５６６号公報
【特許文献２】特開平１１―２７１６７５号公報
【特許文献３】特開平１１−３０５９４０号公報
【特許文献４】特開平１１−８５３９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の超音波を利用する方法は、スクリーン側に超音波を検出する受信装置が必要であり、必要な機器が増え、また仕組みが複雑になる。また、特許文献２〜４に記載の赤外線や指示光を用いる方法も赤外線や指示光を検出する機器や仕組みが必要であり、超音波を用いる場合と同様な問題がある。
【０００８】
また、上述した従来技術においては、画像指示装置とポイント画像の位置を予め合わせておく必要がる。しかしながら、プレゼンテーションは、多用なセッティング環境で行なわれる場合があり、使用する毎に位置合わせを行なうことは煩わしい不便さがある。また、上述した従来技術においては、画像指示装置をスクリーンに向けなければ、ポイント画像の位置を制御できない。説明中に常に画像指示装置をスクリーンに向けておくことは、説明を行なう者の姿勢や体の向き、あるいは体の動き（特に画像指示装置を持った手の動き）に制限を加える場合があった。
【０００９】
本発明は、上述した従来からのポイント画像の制御技術における問題を解決し、機器を極力増やさず、構成がシンプルで、煩雑な位置合わせが必要でなく、画像指示装置をスクリーン上に向けなくてもポイント画像の制御が行える技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明のポインティング装置は、画像指示装置に備えた撮像装置によって撮像された画像の移動を検出する画像移動検出手段と、前記画像の移動に対応させてポイント画像の移動方向と移動量を算出する演算手段と、前記演算手段の演算結果に基づいて、ポイント画像を表示画像中に合成するための信号を生成する信号生成手段とを備え、前記ポイント画像の表示位置を、前記画像指示装置の指向方向の変化に対応させて移動させることを特徴とする。
【００１１】
本発明のポインティング装置において、撮像は画像指示装置に備えたＣＣＤカメラによって行なわれたものであることが好ましい。ＣＣＤカメラによる撮像手段は、小型で高分解能であり、また画像指示装置を単なるカメラとしても利用できる利便性がある。
【００１２】
本発明のポインティング装置によれば、画像指示装置が撮像した画像の動き（撮像視野内での画像の動き）からポイント画像の移動方向および移動量を算出し、それによりポイント画像の位置制御を行なう。本発明においては、画像指示装置の指向方向の変化を、画像指示装置が撮像する画像の撮像視野の中における移動によって検出する。この検出結果に基づいて、ポイント画像の表示位置を移動させることで、画像指示装置の指向方向の変化に対応させてポイント画像の表示位置を動かすことができる。
【００１３】
本発明のポインティング装置においては、画像指示装置が撮像した画像の動きを検出するので、画像指示装置に備えた撮像素子以外にセンサ等は必要とされず、全体のシステムをシンプルなものにできる。また、画像指示装置の指向位置の相対的な移動を検出するので、画像指示装置を任意の適当な場所に向けながらポイント画像の位置を制御すればよく、煩雑な位置合わせ操作が不要となる。また、撮像視野内における画像の相対的な動きからポイント画像の動きを制御するので、画像指示装置はどこに向けておいても良く、使用時における自由度が大きくなる。これにより、たとえばプレゼンテーションに利用する場合、プレゼンターの姿勢や体の向き、さらには体の動きに加わる制約が減少する。
【００１４】
本発明のポインティング装置において、画像移動検出手段では、所定の時点において、撮像画面中に設定された複数の監視ポイントの少なくとも一つにおける第１の画像データを記憶し、前記所定の時点以降において、前記複数の監視ポイントから得られる第２の画像データと前記記憶した第１の画像データとを比較し、前記比較から前記第１および前記第２の画像データ間の違いを検出し、前記画像データ間の違いから前記撮像した画像の移動方向および移動量を算出する処理を行うことは好ましい。
【００１５】
この態様によれば、監視ポイントにおいて時間差をおいて取得した画像データを比較することで、撮像画像の動きを検出し、その移動方向と移動量とを算出することができる。この態様によれば、撮像画像中の所定の複数の位置に設定した監視ポイントにおける画像のみを解析すればよいので、扱う情報量を少なくすることができる。このため、低コストと処理時間の低減の両方を追求することができる。特に処理時間を低減できることで、画像指示装置の動きにスムーズに追従したポイント画像の動きを実現することができる。
【００１６】
さらに上記画像移動検出手段での処理において、監視ポイントは、マトリクス状に分割された画素の集合とすることは好ましい。この態様によれば、監視ポイントにおける画像データをマトリクス状に配置した画素のドット情報として扱うので、画素データの処理を簡単にできる。
【００１７】
本発明のポインティング装置において、演算手段の演算結果に関係なく、ポイント画像を表示画像中の所定の位置に表示する位置制御手段を備えることが好ましい。この態様によれば、画像指示装置の指向位置に関係なく、所定の場所にポイント画像を初期設定表示することができる。この機能は、たとえば、ポイント画像を見失った場合等に簡便に利用することができる。この機能を用いれば、煩雑な位置合わせ作業が必要とされず便利となる。
【００１８】
本発明のポインティング装置において、ポイント画像を用いたグラフィカル・ユーザ・インターフェース（ＧＵＩ）操作手段を備えることが好ましい。この態様によれば、たとえば投影装置によりスクリーン上に投影された画面上において、グラフィカル・ユーザ・インターフェースを用いてパーソナル・コンピュータを操作することができる。
【００１９】
すなわち、大画面スクリーンに投影した画像を用いてのプレゼンテーションにおいて、ポイント画像を用いてのグラフィカル・ユーザ・インターフェース操作を行ない、各種資料の参照処理等を投影画面上におけるクリック操作により簡単に行なうことができる。
【００２０】
本発明のポインティング装置において、画像の移動量に対する表示画像上におけるポイント画像の移動量を調整する調整手段を備えることが好ましい。この態様によれば、画像指示装置の指向位置の移動量に対応するポイント画像の移動量を調整することができる。この機能は、人により異なる画像指示装置の動かし方の違いに対応して、各自のフィーリングに合ったポイント画像の移動量を設定できる点で有用である。
【００２１】
本発明のポインティング装置に関する発明は、ポイント画像の表示方法として把握することもできる。すなわち、本発明のポイント画像の表示方法は、撮像した画像の移動を検出する画像移動検出ステップと、前記画像の移動に対応させてポイント画像の移動方向と移動量を算出する演算ステップと、前記演算ステップの演算結果に基づいてポイント画像を表示画像中に合成するための信号を生成する信号生成ステップとを備えることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、画像指示装置の撮像手段が捉えた画像の動きから画像指示装置の指示対象場所の移動を検出し、その結果からポイント画像の移動方向および移動量を算出するので、付加する装置が少なくて済み、構成をシンプル化できる。また、検出対象となる画像は特に限定されないので、画像指示装置をスクリーン上に向けなくてもポイント画像の制御が行なうことができる。すなわち、本発明によれば、機器を極力増やさず、構成がシンプルで、煩雑な位置合わせが必要でなく、さらに画像指示装置をスクリーン上に向けなくてもポイント画像の制御が行える技術が提供される。
【発明を実施するための最良の形態】
【００２３】
（第１の実施形態）
１−１．実施形態の構成
図１は、本発明のポインティング装置を利用したプレゼンテーション・システムの概要示す概念図である。図１には、画像指示装置１０１、スクリーン１０２、ポイント画像１０３、画像指示装置１０１の撮像対象１０４、投影装置１０５、プレゼンター（プレゼンテーションを行なう人物）１０６、ポイント画像制御装置１０７およびパーソナル・コンピュータ１０８が示されている。
【００２４】
このシステムでは、プレゼンター１０６が画像指示装置１０１を動かすと、その動きに対応してスクリーン上に投影されたポイント画像１０３が動く。すなわち、画像指示装置１０１が撮像した画像の撮像視野内での動きをポイント画像制御装置１０７で解析し、ポイント画像１０３の移動方向および移動量が算出され、それに従いポイント画像１０３の表示位置が制御される。
【００２５】
画像指示装置１０１は、プレゼンター１０６により向けられる任意の被撮像対象を撮像し、その画像をポイント画像制御装置１０７に送り、また各種の制御信号をポイント画像制御装置１０７に送る。
【００２６】
パーソナル・コンピュータ１０８は、適当なアプリケーションソフトを利用して加工作成したプレゼンテーションする内容の画像を記憶し、所定の操作に従ってその画像データをポイント画像制御装置１０７に出力する。
【００２７】
ポイント画像制御装置１０７は、画像指示装置１０１から送られてきた信号に基づいて、スクリーン１０２上におけるポイント画像１０３の位置を制御する信号を生成する。また、ポイント画像制御装置１０７は、パーソナル・コンピュータ１０８から送られてきた画像にポイント画像を重ね合わせる処理を行なう。
【００２８】
図２は、画像指示装置１０１の構成の一例を示すブロック図である。図２に示す画像指示装置１０１は、撮像装置１１１、画像信号生成装置１１２、制御スイッチ１１３、位置リセットスイッチ１１４、移動量調整ダイアル１１５、制御信号生成装置１１６および信号出力装置１１７を備えている。
【００２９】
投影装置１０５は、液晶プロジェクタや３管型プロジェクタ等であり、ポイント画像制御装置１０７から送られてくる画像信号をスクリーン１０２上に投影する機能を有する。
【００３０】
撮像装置１１１は、ＣＣＤ撮像素子を備えたカメラである。画像信号生成装置１１２は、撮像素子１１１で撮像した画像を伝送に適した適当な電気信号（画像信号）に変換する。制御スイッチ１１３は、撮像画像を直接投影するモードへの切替えや、後述するマウス機能等を利用する場合に利用されるスイッチである。たとえば、制御スイッチとして、マウスの右クリックおよび左クリックに対応する機能を割り当てることができる。位置リセットスイッチ１１４は、ポイント画像１０３の位置を初期設定するためのスイッチである。たとえば、位置リセットスイッチ１１４を操作すると、スクリーン１０２の中央に強制的にポイント画像１０３を表示させることができる。
【００３１】
移動量調整ダイアル１１５は、画像指示装置１０１の指向方向または指向位置の変化量とスクリーン上のポイント画像１０３の移動量との関係を調整するダイアルである。たとえば、画像指示装置１０１の指向位置の移動量に比較して、スクリーン上のポイント画像１０３の移動量が大きく変化するように調整した場合、画像指示装置１０１を少し動かしただけで、ポイント画像１０３が大きく移動するように設定できる。
【００３２】
制御信号生成装置１１６は、制御スイッチ１１３、位置リセットスイッチ１１４および移動量調整ダイアル１１５の操作内容を、ポイント画像制御装置１０７に送信するのに適当な電気信号に変換する機能を有する。信号出力装置１１７は、ポイント画像制御装置１０７に画像信号生成装置１１２および制御信号生成装置１１６で生成された電気信号を電波信号として送信する機能を有している。
【００３３】
図３は、ポイント画像制御装置１０７（図１参照）の構成の一例を示すブロック図である。図３に示すポイント画像制御装置１０７は、受信装置１２１、信号分離装置１２２、画像取り込み装置１２３、移動量調整装置１２４、初期設定位置制御装置１２５、画像解析装置１２６、ポイント画像制御信号生成装置１２７、画像合成装置１２８および信号出力装置１２９を備えている。
【００３４】
受信装置１２１は、画像指示装置１０１からの電波信号を受信する機能を有する。信号分離装置１２２は、受信装置１２１で受信した信号の中に含まれる画像信号および各種制御信号を分離し、所定の装置に導く機能を有する。移動量調整装置１２４は、画像指示装置１０１の移動量調整ダイアル１１５の調整内容を反映した制御信号を受け、ポイント画像１０３の移動量の割合を調整する機能を有する。たとえば、移動量調整装置１２４は、画像指示装置１０１が撮像した画像の動きに対応する移動量の大きさを所定の基準値に対して任意倍する機能を有し、調整量ダイアル１１５（図２参照）の設定具合に応じて、この任意倍する数値を変える機能を有する。
【００３５】
画像取り込み装置１２３は、撮像装置１１１（図２参照）が撮像した画像を取り込む機能を有する。画像解析回路１２６は、画像取り込み装置１２３で取り込んだ画像（撮像装置１１１が撮像した画像）を解析し、撮像視野内におけるその移動方向と移動量を算出する。画像の解析方法については、後に詳述する。
【００３６】
ポイント画像制御信号生成装置１２７は、画像解析装置１２６で算出された画像指示装置１０１が撮像した画像の撮像視野内における移動方向と移動量とに基づいて、ポイント画像１０３の移動方向と移動量とを算出し、さらにその算出結果に基づいてポイント画像を表示すべき位置の座標データを生成する。
【００３７】
また、ポイント画像制御信号生成装置１２７は、移動量調整装置１２４からの信号に応じて、ポイント画像１０３の移動量が移動量調整ダイアル１１５（図２参照）の操作に応じた値になるように処理を行なう。また、ポイント画像制御信号生成装置１２７は、初期設定位置制御装置１２５からポイント画像１０３を強制的に所定の位置に表示させる旨の信号を受けた場合に、ポイント画像１０３をスクリーン１０２上の所定の位置に表示するための処理を行う。
【００３８】
画像合成装置１２８は、ポイント画像制御信号生成装置１２７で生成された座標データによって決められる位置にポイント画像を表示するための画像データを生成し、その画像データを、パーソナル・コンピュータ１０８（図１参照）から送られてくる画像に合成する処理を行う。この処理により、パーソナル・コンピュータ１０８（図１参照）から送られてくる画像中の所定位置にポイント画像が表示される合成画像が生成される。
【００３９】
信号出力装置１２９は、画像合成装置１２８で処理された画像信号を投影装置１０５（図１参照）に送り出す機能を有する。また、信号出力装置１２９は、信号分離装置１２２で分離された画像信号を投影装置１０５に送信する機能を有する。
【００４０】
本実施形態において、投影装置１０５における光学的なズーム機能を画像指示装置１０１によって操作できるようにしてもよい。この場合、画像指示装置１０１にズーム調整操作スイッチをさらに備え、ポイント画像制御装置１０７にズーム調整信号生成装置をさらに備えた構成とする。この態様では、画像指示装置１０１のズーム調整操作スイッチを操作することで、その操作結果を反映した信号がポイント画像制御装置１０７に送られ、その信号を受けて、ポイント画像制御装置１０７のズーム調整信号生成装置において、投影装置１０５の光学ズーム機能を制御するための制御信号が生成され、その制御信号により投影装置１０５の光学ズーム機能が制御される。
【００４１】
１−２．実施形態の動作
まず、画像指示装置１０１の動作の一例を説明する。図４は、画像指示装置１０１の動作の一例を示すフローチャートである。まず、画像指示装置１０１の使用が開始されているか、つまり図示しない撮像開始スイッチがＯＮになっているか、が判断され（ステップＳ１１）、スイッチＯＮであれば撮像装置１１１（図２参照）による撮像を行ない（ステップＳ１２）、そうでなければステップＳ１１を繰り返す。
【００４２】
図２に示す撮像装置１１１で撮像された画像は、画像信号生成装置１１２で画像信号に変換され、信号出力装置１１７から電波信号としてポイント画像制御装置１０７（図１参照）に送信される（ステップＳ１３）。
【００４３】
以上の処理は、画像指示装置１０１が使用されている状態において繰り返して行われる。そして、画像指示装置１０１の撮像装置１１１が捉えた撮像対象１０４の画像信号がポイント画像制御装置１０７に対して送信され続けられる。
【００４４】
次にポイント画像制御装置１０７の動作の一例を説明する。図５は、図３の画像解析装置１２６およびポイント画像制御信号生成装置１２７で行われる画像処理の一例を示すフローチャートである。図６は、画像解析の方法の一例を説明するための概念図である。図６には、画像指示装置１０１（図１参照）が撮像している撮像視野１３３が示されている。この撮像視野１３３は、図１における撮像対象１０４に相当する。図６には、プレゼンター１０６の操作に従う画像指示装置１０１による指示方向の移動に伴って、撮像視野１３３内における特定画像１３１が図６（Ａ）に示される位置に位置した状態から、矢印１３２で示される方向に動き、図６（Ｂ）に示される位置に移動した場合の例が示されている。
【００４５】
図６には、撮像視野１３３内に５つの監視ポイント１３４〜１３８を設けた場合の例が示されている。監視ポイント１３４〜１３８は、撮像視野１３３における撮像画像の動きを検出するために利用される。すなわち、監視ポイント１３４〜１３８によって撮像視野１３３内の画像を部分的に５箇所で切り取り、この切り取った画像のデータを所定の時間間隔をおいて比較することで、画像指示装置１０１の撮像装置１１１が捉えた撮像画像の動きを検出する。
【００４６】
監視ポイント１３４〜１３８は、格子状にＸｍ×Ｙｎ個のドット（画素）に分割されている。図６には、一例として監視ポイント１３５〜１３８が５×５画素のマトリクスに分割されている例が示されている。この監視ポイント１３４〜１３８によって、撮像画像の中から５つの部分が切り出される。なお、ｍ，ｎは、０を除く自然数である。
【００４７】
各監視ポイントにおいて切り出された撮像画像の一部それぞれは、（Ｘｍ，Ｙｎ）の記憶領域に格納したテーブルデータによって表される。このテーブルデータが、各監視ポイントにおける画像を特定するための画像データとなる。
【００４８】
たとえば図６に示す例おいて、白黒画像を対象とする場合、監視ポイント１３４〜１３８のそれぞれにおける画像データは、０または１の画素データを記憶した５×５個のテーブルデータとして表される。
【００４９】
監視ポイント１３４〜１３８を用いるのは、撮像した画像の動きを検出し、さらに画像の移動方向とその移動量を算出するための基礎データを得るためである。後に詳述するように、５カ所の監視ポイントにおける画像データの時間的な変化を解析することで、画像の移動方向と移動量とが算出される。監視ポイントを設定する方法は、画像全体に関する画像データを扱わなくて済むので、解析に要する処理時間を短くでき、また解析に必要なハードウェアやソフトウェアプログラムを簡素化できる。なお、監視ポイントの設定は、図６に示す例に限定されるものではなく、その設定箇所の数や設定位置は他の形態を採用することもできる。
【００５０】
以下、監視ポイント１３４〜１３８を利用して、撮像画像の動きを検出する処理の一例を説明する。以下に説明する画像処理は、図３の画像解析装置１２６およびポイント画像制御信号生成装置１２７において行われる。
【００５１】
まず、所定の時点における監視ポイント１３４〜１３８における画像データ（第1の画像データ）を記憶する（ステップＳ２１）。画像データは、画像解析装置１２６内に備えられた図示しないメモリに記憶される。
【００５２】
画像データの記憶は所定のサンプリング周波数に従って、繰り返し行われる。従って、ステップＳ２１の実行から所定の時間が経過した段階で、再び監視ポイント１３４〜１３８における画像データ（第２の画像データ）が記憶される（ステップＳ２２）。
【００５３】
次に第１の画像データと第２の画像データとを比較し、所定の監視ポイントにおける画素データに違いはあるか、を判断する（ステップＳ２３）。ステップＳ２３においては、各監視ポイントそれぞれにおける第１の画像データと第２の画像データとが比較される。すなわち、監視ポイント１３４における第１の画像データと第２の画像データとが比較され、監視ポイント１３５における第１の画像データと第２の画像データとが比較され、監視ポイント１３６における第１の画像データと第２の画像データとが比較され、という処理が行われる。
【００５４】
監視ポイントにおける第１の画像データと第２の画像データとの間に違いが１つでもあればステップＳ２４に進み、そうでなければステップＳ２２の前段階に戻る。たとえば、図１に示すプレゼンター１０６が画像指示装置１０１を動かさなければ、撮像画像は動かないから、各監視ポイントにおいて上述の第１の画像データと第２の画像データとは同じであり、ステップＳ２３の判断はＮＯとなり、ステップＳ２２以下の処理が再度繰り返し行われる。
【００５５】
ステップＳ２４では、異なる監視ポイントにおける画素データの一致があるか、が判断される。つまり、ある監視ポイントの第１の画像データと他の監視ポイントの第２の画像データとが一致するか、が判断される。この判断は、監視ポイント毎に行われる。たとえば、監視ポイント１３４における第１の画像データと監視ポイント１３５〜１３８における第２の画像データとが比較され、両者に一致するものがあるか、が判断され、さらに監視ポイント１３５における第１の画像データと監視ポイント１３４，１３６〜１３８における第２の画像データとが比較され、両者に一致するものがあるか、が判断され、という処理が各監視ポイントそれぞれにおいて行われる。
【００５６】
そして、異なる監視ポイントにおける画像データの一致があれば、ステップＳ２５に進み、そうでなければステップＳ２２の前段階に戻る。
【００５７】
ステップＳ２５では、画像データの一致した２つの監視ポイントの位置から撮像画像の移動方向と移動量とを算出する。そしてステップＳ２５において算出された撮像画像の移動方向と移動量とに基づいて、ポイント画像制御信号生成装置１２７（図３参照）において、ポイント画像の移動方向とその移動量とが算出される（ステップＳ２６）。以上の処理が繰り返し行われ、撮像画像の動きに応じたポイント画像の位置制御が行われる。
【００５８】
以下、ポイント画像の位置制御についてより具体的な例を挙げて説明を加える。図６には、特定画像１３１が図６（Ａ）に示される位置から図６（Ｂ）に示される位置に移動した状態の例が示されている。ここで、図６（Ａ）の状態で第１の画像データの記憶（ステップＳ２１）が行われ、図６（Ｂ）の状態で第２の画像データの記憶（ステップＳ２２）が行われたとする。
【００５９】
この場合、図６（Ａ）における監視ポイント１３５の画像データと、図６（Ｂ）における監視ポイント１３５の画像データとが相違する。また図６（Ａ）における監視ポイント１３６の画像データと、図６（Ｂ）における監視ポイント１３６の画像データとが相違する。また図６（Ａ）における監視ポイント１３７の画像データと、図６（Ｂ）における監視ポイント１３７の画像データとが相違する。したがって、ステップＳ２３の判断は、ＹＥＳとなる。
【００６０】
そして、図６（Ａ）における監視ポイント１３５の画像データと、図６（Ｂ）における監視ポイント１３６の画像データとは一致する。また図６（Ａ）における監視ポイント１３６の画像データと、図６（Ｂ）における監視ポイント１３７の画像データとは一致する。つまり、異なる監視ポイントにおいて、第１の画像データと第２の画像データとが一致する。したがって、ステップＳ２４の判断はＹＥＳとなる。
【００６１】
そして、画像データが一致した監視ポイントの位置関係から、矢印１３２により示されるような特定画像１３１の図６（Ａ）に示す位置から図６（Ｂ）に示す位置への移動が算出される。つまり、特定画像１３１の移動方向と移動量とが算出される。特定画像１３１は、撮像画像の一部であるから、特定画像の移動方向と移動量とを算出することで、撮像画像の移動方向と移動量とが算出されることになる。こうして、図３に示す画像解析装置１２６において、撮像画像の異動方向と移動量とが算出される。
【００６２】
図６に例示するように、撮像画像が矢印１３２の方向に移動する場合、画像指示装置１０１はその方向とは反対の方向に指向位置が動かされていることになる。たとえば、図１の矢印１０９の方向に撮像対象１０４が動くように、画像指示装置１０１の向きを動かした場合、撮像装置１１１が撮像している撮像画像は、矢印１０９とは１８０度異なる方向である矢印１３２（図６参照）の方向に移動する。この関係を利用することで、ポイント画像制御信号生成装置１２７（図３参照）において、ステップＳ２６の処理が行われ、ポイント画像１０３（図１参照）の移動方向１１０と移動量とが算出される。この算出結果に基づいてポイント画像の表示位置を指定する信号が生成され、画像合成装置１２８においてパーソナル・コンピュータ１０８から送られてくる画像信号中の所定の座標にポイント画像が合成される。
【００６３】
このように、プレゼンター１０６が画像指示装置１０１の向きを変え、その指向位置が
矢印１０９の方向に移動すると、撮像装置１１１の撮像画像が図６の矢印１３２の方向に移動する。この撮像画像の移動方向と移動量を、監視ポイント１３４〜１３８間の画像データの比較から算出し、その結果に基づいてポイント画像１０３の移動方向および移動量が算出され、矢印１１０で示されるようなポイント画像１０３の表示位置の制御が行われる。
【００６４】
以上説明した監視ポイント１３５〜１３８を利用して、撮像画像の移動を検出する方法は、扱うデータ量が少なくて済み、そのため演算速度を速くでき、応答性に優れたものとできる優位性がある。そのため、プレゼンターがストレスを感じずに、ポイント画像１０３を利用したプレゼンテーションを行うことができる。また、扱うデータ量が少なくて済み、また演算が比較的簡単なため、必要なハードウェアが簡単で済み、低コスト性と信頼性に優れたものとできる。
【００６５】
なお、画像指示装置１０１が撮像した画像を解析し、画像指示装置１０１が指向した方向（あるいは指向位置）の変化を検出する方法としては、撮像した画像の特徴点（たとえば、エッジ等の明るさや色合いの変化点）を検出することで、特定の画像を捉え、その画像の撮像視野内における移動を検出する方法を採用することもできる。
【００６６】
本実施形態においては、ポイント画像１０３の移動量は、移動量調整装置１２４（図３参照）により調整可能になっており、画像指示装置１０１の指向位置の変化あるいは振り角に対応したポイント画像１０３のスクリーン１０２上における移動量は、任意に調整できるようになっている。
【００６７】
この調整は、画像指示装置１０１の移動量調整ダイアル１１５（図２参照）の操作によって行われる。すなわち、移動量調整ダイアル１１５を調整すると、その調整内容を反映した信号が制御信号生成装置１１６で生成され、画像指示装置１０１からポイント画像制御装置１０７に送られる。この制御信号は、受信装置１２１を経て、信号分離装置１２２から移動量調整装置１２４に送られる。移動量調整装置１２４では、移動量調整ダイアル１１５の操作状態に応じて、ポイント画像１０３の移動量の設定を行い、その内容を指定する信号をポイント画像制御信号生成装置１２７に送る。
【００６８】
この態様によれば、図１に示すプレゼンター１０６による画像指示装置１０１の動かし方の癖や個人差に応じて、画像指示装置１０１の撮像対象１０４の移動量に応じたポイント画像１０３のスクリーン１０２上での移動量を調整することができる。
【００６９】
また、本実施形態においては、ポイント画像１０３のスクリーン１０２上での位置を任意のタイミングで強制的に位置合わせできるようになっている。すなわち、スクリーン１０２上におけるポイント画像１０３の位置を強制的にスクリーンの中央等に表示させることができる。
【００７０】
以下、この動作の詳細な一例を説明する。プレゼンター１０６（図１参照）が画像指示装置１０１の位置リセットスイッチ１１４（図２参照）を操作すると、制御信号生成装置１１６でその旨を指示する信号が生成され、その信号は信号出力装置１１７からポイント画像制御装置１０７（図１および図３参照）に送信される。その信号は、ポイント画像制御装置１０７の受信装置１２１で受信され、信号分離装置１２２を経て、初期設定位置制御装置１２５に送られる。初期設定位置制御装置１２５では、その信号を受けて、スクリーン１０２の所定の位置（たとえばスクリーン１０２の中央）にポイント画像１０３を表示させるための信号をポイント画像制御信号生成装置１２７に送る。この信号を受けて、ポイント画像制御信号生成装置１２７では、スクリーン１０２の所定の位置にポイント画像１０３を表示する信号を生成し、画像合成装置１２８に送る。そして、画像合成装置１２８において、パーソナル・コンピュータ１０８から送られてきた画像の中央にポイント画像１０３が表示されるような合成画像が作られ、その合成画像信号が投影装置１０５に送られる。投影装置１０５は、この合成画像をスクリーン１０２上に投影する。こうして、ポイント画像１０３がスクリーン１０２の中央に強制的に表示される。
【００７１】
この態様によれば、プレゼンター１０６が任意のタイミングにおいて、スクリーン１０２上におけるポイント画像１０３の位置を初期設定あるいはリセットできる。この機能により、プレゼンター１０６（図１参照）がポイント画像１０３を見失った際にポイント画像の位置を所定の位置に表示し直すリセット操作を行うことができる。また、この操作は、プレゼンテーションを始める際におけるポイント画像１０３の初期位置の設定に利用することもできる。
【００７２】
図１に示す構成において、画像指示装置１０１で撮像した画像をスクリーン上に投影することもできる。この場合、図２の画像指示装置１０１において、制御スイッチ１１３が操作されて、画像撮像モードへの切替えが行われる。そして、撮像装置１１１で撮像された画像は、画像信号生成装置１１２において画像信号に変換され、その信号は信号出力装置１１７から図１に示すポイント画像制御装置１０７に送られる。図３に示すポイント画像制御装置１０７では、その信号を受信装置１２１で受信し、信号分離装置１２２、信号出力装置１２９を経て、投影装置１０５（図１参照）に送る。投影装置１０５からは、画像指示装置１０１で撮像した画像がスクリーン１０２上に投影される。この態様は、プレゼンテーションにおいて、見本等を撮像した画像をスクリーン上に投影する場合に有効となる。
【００７３】
また、画像指示装置１０１で撮像した画像をパーソナル・コンピュータ１０８からの画像に重ね合わせ、その合成画像をスクリーン１０２上に投影することもできる。この場合、受信装置１２１で受信された画像指示装置１０１からの画像信号は、ポイント画像制御装置１０７の受信装置１２１で受信され、信号分離装置１２２から画像合成装置１２８に送られ、そこで画像の合成が行われる。
【００７４】
（第２の実施形態）
２−１．実施形態の構成
本実施形態では、本発明を利用したポイント画像の位置制御技術にパーソナル・コンピュータが備えているグラフィカル・ユーザ・インターフェース（ＧＵＩ）機能を組み合わせた例である。グラフィカル・ユーザ・インターフェース(Graphical User Interface)とは、ユーザに対する情報の表示にグラフィックを多用し、アプリケーションソフトの操作をマウス等のポインティングデバイスによって行うことができるユーザインターフェースのことをいう。
【００７５】
図７は、本発明のポインティング装置を利用した他のプレゼンテーション・システムの概要を示す概念図である。図８は、図７におけるポイント画像制御装置２０１の構成の一例を示すブロック図である。
【００７６】
本実施形態は、通常はパーソナル・コンピュータが備えたポイント画像（マウスポインタ）の制御機能を利用して、ポイント画像をスクリーン上に投影表示するシステムに本発明を適用した場合の例である。
【００７７】
図７には、プレゼンター３０１、画像指示装置３０２、画像指示装置３０２が撮像している撮像対象３０３、ポイント画像制御装置２０１、パーソナル・コンピュータ３０４、ＵＳＢ(Universal Serial Bus)ケーブル３０５、画像伝送ケーブル３０６、パーソナル・コンピュータ３０４のディスプレイ３０７、投影装置３０８、スクリーン３０９およびポイント画像３１０が示されている。
【００７８】
本実施形態では、画像制御装置３０２が撮像した画像をポイント画像制御装置２０１において解析することで、画像指示装置３０２の撮像対象の移動方向と移動量とを算出する。そして、その解析結果に基づいてポイント画像制御装置２０１は、ポイント画像３１０の表示位置を指示するＵＳＢ(Universal Serial Bus)規格の信号を生成し、それをパーソナル・コンピュータ３０４に送る。パーソナル・コンピュータ３０４は、ＧＵＩ（グラフィカル・ユーザ・インターフェース）機能に備わっているポイント画像の表示位置制御機能を用いて、ポイント画像を所定の座標に位置させた画像を生成し、それを投影装置３０８に送り、投影装置３０８は、その画像をスクリーン３０９上に投影する。こうして、画像指示装置３０２の動きに追従させてスクリーン３０９上にポイント画像３１０を表示させることができる。
【００７９】
本実施態様では、パーソナル・コンピュータ３０４が一般的に備えているポイント画像の表示機能を利用して、ポイント画像３１０の位置制御を行う。この点において、パーソナル・コンピュータが生成した画像にポイント画像を外付けの装置で合成する第１の実施形態と異なっている。本実施態様では、パーソナル・コンピュータのポイント画像制御機能を利用するので、ポイント画像を用いたＧＵＩ機能の操作が可能となる。
【００８０】
本実施形態において、画像指示装置３０２は、図２に示す構成において、制御スイッチ１１３を複数備え、その中には、通常のマウスが備えている右クリックスイッチと左クリックスイッチに対応するスイッチが含まれたものを用いる。
【００８１】
ポイント画像制御装置２０１から出力され、パーソナル・コンピュータ３０４のＵＳＢ入力ポートに入力される信号は、通常のポインティングデバイス（たとえばマウス）からパーソナル・コンピュータに入力される信号と同じである。また、ポイント画像の位置制御を行うためのパーソナル・コンピュータ３０４における処理内容も同じである。したがって、画像指示装置３０２を用いて、通常のマウスと同様に右クリックおよび左クリックの処理操作を行うことも可能となる。つまり、画像指示装置３０２を用いたＧＵＩの操作が可能となる。
【００８２】
本実施形態において、図７に示すポイント画像制御装置２０１は、図８に示すように、受信装置２０２、信号分離装置２０３、画像取り込み装置２０５、移動量調整装置２０６、初期設定位置制御装置２０７、画像解析装置２０８、ポイント画像制御信号生成装置２０９、ＵＳＢインターフェース装置２１０および信号出力装置２１１を備えている。
【００８３】
図８において、ＵＳＢインターフェース装置２１０以外の装置は、図３に示した各装置と重複する機能を有するので、説明を省略する。ＵＳＢインターフェース装置２１０は、ポイント画像制御信号生成装置２０９で生成された信号に基づいて、ポイント画像の位置を指定するＵＳＢ規格の信号を生成し、それをパーソナル・コンピュータ３０４（図７参照）に送信する機能を有する。また、ＵＳＢインターフェース装置２１０は、画像指示装置３０２（図２参照）から送られてくる、ポイント画像を利用した右クリック操作信号および左クリック操作信号をＵＳＢ規格の信号に変換し、それをパーソナル・コンピュータ３０４（図７参照）に送信する機能を有する。
【００８４】
２−２．実施形態の動作
図７において、プレンゼンター３０１が画像指示装置３０２を動かして、その指向方向を変えると、相対的に撮像対象３０３が動き、撮像視野内の画像が動く。この画像の動きを含む画像データは、画像指示装置３０２からポイント画像制御装置２０１に送られ、ポイント画像制御装置２０１では、それを受信装置２０２で受信して、信号分離装置２０３を介して画像取り込み装置２０５に送る。画像取り込み装置２０５で取り込まれた画像データは、画像解析装置２０８において解析され、上述した撮像視野内における画像の動きが解析される。この解析により、撮像装置１１１（図２参照）で撮られた画像の移動方向と移動量が算出される。解析方法は、第１の実施形態で説明した方法と同じである。
【００８５】
画像解析装置２０８での解析結果に基づき、ポイント画像制御信号生成装置２０９において、ポイント画像の移動方向と移動量が算出され、さらにその算出結果に基づいてポイント画像の座標データが生成される。ポイント画像制御信号生成装置２０９における処理内容は、第１の実施形態で説明した方法と同じである。ポイント画像制御信号生成装置２０９から出力されるポイント画像の座標データはＵＳＢインターフェース装置２１０において、ＵＳＢ規格の信号に変換され、ＵＳＢケーブル３０５を介してパーソナル・コンピュータ３０４のＵＳＢポートに送られる。
【００８６】
パーソナル・コンピュータ３０４では、ポイント画像制御装置２０１から送られてくるポイント画像の表示位置を指定する信号に基づいて、プレゼンテーション画像にポイント画像を合成する。この処理は、通常行われるポインティングデバイス（たとえばマウス）からの信号の処理と同じである。パーソナル・コンピュータ３０４で生成された画像（この画像にはポイント画像が含まれている）は、投影装置３０８に送られ、投影装置３０８からスクリーン３０９上に投影される。こうして、スクリーン３０９上に表示されるポイント画像３１０の位置を画像指示装置３０２の指向位置を変えることで制御することができる。
【００８７】
本実施形態においては、ポイント画像３１０により、グラフィカル・ユーザ・インターフェース（ＧＵＩ）を用いた処理をスクリーン３０９上で行うことができる。たとえば、スクリーン３０９上にＧＵＩを利用できるアプリケーションソフトウェアを用いた画面が表示されているとする。この際、スクリーン上のポイント画像３１０の位置は、上述したように、画像指示装置３０２の指向位置により操作することができる。さらに、画像指示装置３０２の制御スイッチ１１３（図２参照）を操作することで、通常のパーソナル・コンピュータの操作において行われるマウスの右クリックおよび左クリックに対応する操作をスクリーン３０９上に表示された画面上で行うことができる。
【００８８】
たとえば、画像指示装置３０２の制御スイッチ１１３（図２参照）を操作し、左クリックに相当する操作を行ったとする。この場合、左クリックを伝える信号が、制御信号発生回路１１６で生成され、その信号は、信号出力装置１１７からポイント画像制御装置２０１（図８参照）に送られる。この信号は、ポイント画像制御装置２０１内の受信装置２０２で受信され、信号分離装置２０３からＵＳＢインターフェース装置２１０に送られ、そこでＵＳＢ規格の信号に変換されてパーソナル・コンピュータ３０４（図７参照）に送られる。パーソナル・コンピュータ３０４では、通常のマウスによる操作の際と同様の処理が行われ、ポイント画像３１０を用いた左クリック操作が行われる。
【００８９】
このようにして、図７に示すシステムにおいて、画像指示装置３０２を用いて、ポイント画像３１０を用いたグラフィカル・ユーザ・インターフェースの操作が行える。
【００９０】
図７に示す本実施形態において、画像指示装置３０２で撮像した画像をスクリーン３０９上に直接投影することもできる。この場合、画像指示装置３０２の撮像装置１１１で撮像された画像の画像信号は、図８のポイント画像制御装置２０１の受信装置２０２で受信され、さらに信号分離装置２０３から信号出力装置２１１に送られる。信号出力装置２１１は、この画像信号をパーソナル・コンピュータ３０４に画像伝送ケーブル３０６を介して送り、パーソナル・コンピュータ３０４ではこの画像信号を適当なアプリケーションソフトウェアを用いて処理し、投影装置３０３に送り、投影装置３０３は、この画像をスクリーン３０９上に投影する。
【００９１】
画像指示装置３０２によって撮像した画像をスクリーン３０９上に投影するモードへの切替えは、制御スイッチ１１３（図２参照）によって行えるようにすればよい。
【００９２】
図７に示す本実施形態において、画像指示装置３０２の指向方向あるいは指向位置の変化に応じたポイント画像３１０の移動量を調整することができる。この場合、移動量調整ダイアル１１５（図２参照）の操作を受けて、ポイント画像制御装置２０１（図８参照）の移動量調整装置２０６においてポイント画像の移動量を設定するための制御信号が生成され、ポイント画像制御信号生成装置２０９において、指定されるポイント画像の位置が、調整された移動量を反映したものとなるような処理が行われる。
【００９３】
また、図７に示す本実施形態において、ポイント画像３１０の位置を強制的に所定の位置に表示し直すことができる。この場合、位置リセットスイッチ１１４（図２参照）の操作により、ポイント画像指示装置２０１内の初期設定位置制御装置２０７（図８参照）において、ポイント画像を強制的に所定の位置に表示する旨の信号が生成され、ポイント画像制御信号生成装置２０９において、ポイント画像をスクリーン３０９に投影した画像中の所定の位置に強制的に表示する処理が行われる。
【００９４】
以上の例示では、投影装置を用いてスクリーン上に画像を投影し、その投影画面上にポイント画像を表示する場合を説明したが、画像を表示する表示装置は、ブラウン管、液晶ディスプレイ、プラズマディスプレイあるいは適当な発光デバイスを用いた表示装置であってもよい。また、本発明は、プレゼンテーションへの適用に限定されるものではなく、ポイント画像を用いた各種の処理、操作、画像を用いた遊技、表現活動等に利用することができる。
【００９５】
また上述した例では、撮像した画像を表示画像上に表示する信号を出力する信号出力手段を画像指示装置が備えており、画像指示装置で直接撮像した画像をコンピュータに取り込む、あるいは表示画像として表示する等の利用が行える。この機能によれば、たとえば、プレゼンテーションの最中において、持ち込んだサンプルを画像指示装置のカメラで撮像し、スクリーン上に投影することでプレゼンテーション効果を高める等の利用を行うことができる。
【産業上の利用可能性】
【００９６】
本発明は、画面上に表示されたポイント画像の操作に利用することができる。たとえば、本発明は、スクリーン上に投影されたポイント画像を操作して行われるプレゼンテーションを行う装置およびそれに関連する技術に利用することができる。
【図面の簡単な説明】
【００９７】
【図１】本発明のポインティング装置を利用したプレゼンテーション・システムの概要を示す概念図である。
【図２】画像指示装置の構成を示すブロック図である。
【図３】ポイント画像制御装置の構成を示すブロック図である。
【図４】画像指示装置内での処理を説明するフローチャートである。
【図５】画像解析処理を説明するフローチャートである。
【図６】画像の解析方法を説明する概念図である。
【図７】本発明のポインティング装置を利用したプレゼンテーション・システムの概要を示す概念図である。
【図８】ポイント画像制御装置の構成を示すブロック図である。
【符号の説明】
【００９８】
１０１…画像指示装置、１０２…スクリーン、１０３…ポイント画像、１０４…画像指示装置１０１が撮像している撮像対象、１０５…投影装置、１０６…プレゼンター、１０７…ポイント画像制御装置、１０８…パーソナル・コンピュータ、１０９…撮像対象の移動方向、１１０…ポイント画像の移動方向、１１１…撮像装置、１１２…画像信号生成装置、１１３…制御スイッチ、１１４…位置リセットスイッチ、１１５…移動量調整ダイアル、１１６…制御信号生成装置、１１７…信号出力装置、１２１…受信装置、１２２…信号分離装置、１２３…画像取り込み装置、１２４…移動量調整装置、１２５…初期設定位置制御装置、１２６…画像解析装置、１２７…ポイント画像制御信号生成装置、１２８…画像合成装置、１２９…信号出力装置、１３１…画像、１３２…画像の移動方向、１３３…撮像視野、１３４…監視ポイント、１３５…監視ポイント、１３６…監視ポイント、１３７…監視ポイント、１３８…監視ポイント、２０１…ポイント画像制御装置、２０２…受信装置、２０３…信号分離装置、２０５…画像取り込み装置、２０６…移動量調整装置、２０７…初期設定位置制御装置、２０８…画像解析装置、２０９…ポイント画像制御信号生成装置、２１０…ＵＳＢインターフェース装置、２１１…信号出力装置、３０１…プレゼンター、３０２…画像指示装置、３０３…画像指示装置３０１が撮像している撮像対象、３０４…パーソナル・コンピュータ、３０５…ＵＳＢ(Universal Serial Bus)ケーブル、３０６…画像伝送ケーブル、３０７…ディスプレイ、３０８…投影装置、３０９…スクリーン、３１０…ポイント画像。
【図１】
2005215828.tif 000003
【図２】
2005215828.tif 000004
【図３】
2005215828.tif 000005
【図４】
2005215828.tif 000006
【図５】
2005215828.tif 000007
【図６】
2005215828.tif 000008
【図７】
2005215828.tif 000009
【図８】
2005215828.tif 000010