(57)【特許請求の範囲】
【請求項１】
表示画面の任意の位置を指示するためのポインティング装置であって、
前記表示画面を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像における表示画面領域を示す複数の定常的特徴点の座標位置を取得する取得手段と、
この撮影手段により撮影された撮影画像における所定の基準点の座標位置を、前記複数の定常的特徴点の座標位置に基づいて、その撮影画像における表示画面領域を正規形に変形したとき対応する前記表示画面の座標位置に変換する変換手段と、
この変換手段による変換後の基準点の座標位置を前記表示画面における指示位置として外部情報処理装置へ送信する送信手段と
を備え、
前記変換手段は前記取得手段により取得された複数の定常的特徴点の座標位置に基づき前記基準点の座標変換を行うとともに、前記複数の定常的特徴点の座標位置のいずれかが取得できなかった場合は、前記取得手段により取得できた座標位置に基づく前回と同様の変換条件に従い前記基準点の座標変換を行うことを特徴とするポインティング装置。
【請求項２】
前記送信手段により外部情報処理装置へ送信される指示位置は、前記表示画面に表示すべき所定の指示位置マークの表示位置であることを特徴とする請求項１記載のポインティング装置。
【請求項３】
前記基準点は、前記撮影画像の中心であることを特徴とする請求項１又は２記載のポインティング装置。
【請求項４】
前記定常的特徴点は、前記表示画面に表示された表示画像の外周縁に存在する枠の四隅であることを特徴とする請求項１記載のポインティング装置。
【請求項５】
前記定常的特徴点は前記表示画面領域の外側に存在し、
前記変換手段は、前記取得手段により取得された前記特徴点の座標位置を、所定の設定操作により事前に設定されている補正値を用いて補正し、補正後の座標位置に基づき前記基準点の座標変換を行う
ことを特徴とする請求項１記載のポインティング装置。
【請求項６】
表示画面の任意の位置を指示するためのポインティング装置であって、
前記表示画面を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像における表示画面領域を示す複数の定常的特徴点の座標位置を取得する取得手段と、
この撮影手段により撮影された撮影画像における所定の基準点の座標位置を、前記複数の定常的特徴点の座標位置に基づいて、その撮影画像における表示画面領域を正規形に変形したとき対応する前記表示画面の座標位置に変換する変換手段と、
この変換手段による変換後の基準点の座標位置を前記表示画面における指示位置として外部情報処理装置へ送信する送信手段と
前記表示画面の座標基準を示す既知の特定パターンが前記表示画面に表示された状態の前記撮影画像から、前記特定パターンを認識する認識手段と、を備え、
前記変換手段による前記基準点の座標変換に要する複数の定常的特徴点の座標位置のいずれかが前記取得手段により取得できなかった場合、前記送信手段は、前記表示画面への前記特定パターンの表示を要求する要求信号を前記外部情報処理装置へ送信し、
前記変換手段は、前記認識手段によって認識された特定パターンにより示される座標基準に基づき前記基準点の座標変換を行うことを特徴とするポインティング装置。
【請求項７】
前記特定パターンは、前記表示画面に一定の時間間隔で表示される画像であることを特徴とする請求項６記載のポインティング装置。
【請求項８】
前記表示画面領域における表示画像の特徴点と、前記表示画面領域における前記特定パターンの特徴点との位置関係を示す位置関係情報を取得する位置関係取得手段と、
この位置関係取得手段により取得された位置関係情報を記憶する記憶手段と
を備え、
前記変換手段は、前記表示画面に特定パターンが表示されていない状態の撮影画像に基づいた前記基準点の座標変換に際し、前記表示画面領域における表示画像の特徴点に対し前記記憶手段に記憶されている位置関係情報により示される位置関係にある特徴点を含む前記特定パターンによって示される座標基準に基づき前記基準点の座標変換を行う
ことを特徴とする請求項７記載のポインティング装置。
【請求項９】
前記撮影画像における表示画面の上下方向の向きを特定する特定手段と、
前記撮影画像に存在する文字を認識する文字認識手段と、
をさらに備え、
前記特定手段は、前記文字認識手段により認識された文字の前記撮影画像での回転状態に基づき前記撮影画像における表示画面の上下方向の向きを特定し、
前記変換手段は、前記撮影画像における所定の基準点の座標位置を、その撮影画像にお
ける表示画面領域を正規形に変形したとき対応するとともに、前記特定手段により特定された向きに応じて前記表示画面の座標位置に変換することを特徴とする請求項１乃至８のいずれかに記載のポインティング装置。
【請求項１０】
前記変換手段により座標変換された直近の複数回分の座標位置を平均化する平均化手段をさらに備え、
前記送信手段は、前記平均化手段により平均化された座標位置を前記表示画面における指示位置として外部情報処理装置へ送信する
ことを特徴とする請求項１乃至９のいずれか記載のポインティング装置。
【請求項１１】
前記変換手段により座標変換された今回の座標位置と前回の座標位置との間の距離が決められた閾値を超えている場合、前記平均化手段による直近の複数回分の座標位置の前記平均化を禁止する禁止手段を備え、
前記送信手段は、前記変換手段により座標変換された今回の座標位置を前記表示画面における指示位置として外部情報処理装置へ送信する
ことを特徴とする請求項１０記載のポインティング装置。
【請求項１２】
前記外部情報処理装置へ所定の動作を指令するための操作手段を備え、
前記送信手段は、前記操作手段の操作に応答し所定の指令信号を外部情報処理装置へ送信するとともに、前記変換手段により、前記操作手段の当該操作があった時点よりも前に変換された座標位置を前記指令信号に対応する指示位置として前記外部情報処理装置へ送信する
ことを特徴とする請求項１乃至１１いずれか記載のポインティング装置。
【請求項１３】
使用者によって指示された表示画面の任意の位置を指示するための指示位置特定方法であって、
前記表示画面を撮影する撮影工程と
前記撮影工程により撮影された撮影画像における表示画面領域を示す複数の定常的特徴点の座標位置を取得する取得工程と、
撮影した撮影画像における所定の基準点の座標位置を、前記複数の定常的特徴点の座標位置に基づいて、その撮影画像における表示画面領域を正規形に変形したとき対応する前記表示画面の座標位置に変換する変換工程と、
変換後の座標位置を外部情報処理装置へ送信する送信工程と
を含み、
前記変換工程は、前記取得工程により取得された複数の定常的特徴点の座標位置に基づき前記基準点の座標変換を行うとともに、前記複数の定常的特徴点の座標位置のいずれかが取得できなかった場合は、前記取得工程によって取得できた座標位置に基づく前回と同様の変換条件に従い前記基準点の座標変換を行う工程をさらに含むことを特徴とする指示位置特定方法。
【請求項１４】
表示画面における任意の位置の指示に使用されるとともに前記表示画面を撮影する撮影手段と送信手段とを備えたポインティング装置が有するコンピュータに、
前記撮影手段に前記表示画面を撮影させる撮影処理と、
前記撮影処理により撮影された撮影画像における表示画面領域を示す複数の定常的特徴点の座標位置を取得する取得処理と、
前記撮影手段に撮影された撮影画像における所定の基準点の座標位置を、前記複数の定常的特徴点の座標位置に基づいて、その撮影画像における表示画面領域を正規形に変形したとき対応する前記表示画面の座標位置に変換する変換処理と、
前記送信手段に、変換後の座標位置を前記表示画面における指示位置として外部情報処理装置へ送信させる送信処理と
を実行させ、
前記変換処理はさらに、前記取得工程により取得された複数の定常的特徴点の座標位置に基づき前記基準点の座標変換を行うとともに、前記複数の定常的特徴点の座標位置のいずれかが取得できなかった場合は、前記取得処理によって取得できた座標位置に基づく前回と同様の変換条件に従い前記基準点の座標変換を実行させるプログラム。
【請求項１５】
表示画面における任意の位置の指示に使用されるポインティング装置から、そのポインティング装置によって指示された指示位置が送信される外部情報処理装置であって、
前記ポインティング装置から送信された、前記表示画面の座標基準を示す特定パターンの前記表示画面への表示を要求する要求信号を受信する受信手段と、
この受信手段による前記要求信号の受信に応答し、前記表示画面に前記特定パターンを表示させるための動作を行う表示制御手段と
を備えたことを特徴とする外部情報処理装置。
【請求項１６】
表示画面における任意の位置の指示に使用されるポインティング装置と、このポインティング装置から、使用者により指示された前記表示画面の指示位置を受信する外部情報処理装置とを含む指示位置特定装置であって、
前記外部情報処理装置は、
前記ポインティング装置から送信された、前記表示画面の座標基準を示す特定パターンの前記表示画面への表示を要求する要求信号を受信する受信手段と、
この受信手段による前記要求信号の受信に応答し、前記表示画面に前記特定パターンを表示させるための動作を行う表示制御手段と
を備え、
前記ポインティング装置は、
前記表示画面を撮影する撮影手段と、
前記要求信号を送信する送信手段と、
前記撮影手段により撮影された撮影画像から、前記表示画面領域を示す複数の定常的特徴点の座標位置を取得する取得手段と、
この取得手段により取得された複数の座標位置に基づき、前記撮影手段により撮影された撮影画像における所定の基準点の座標位置を、その撮影画像における表示画面領域を正規形に変形したとき対応する前記表示画面の座標位置に変換する変換手段と、
前記表示画面の座標基準を示す既知の特定パターンが前記表示画面に表示された状態の前記撮影画像から、前記特定パターンを認識する認識手段と
を備え、
前記送信手段は、前記変換手段による前記基準点の座標変換に要する複数の定常的特徴点の座標位置のいずれかが前記取得手段により取得できなかった場合、前記表示画面への前記特定パターンの表示を要求する要求信号を前記外部情報処理装置へ送信し、
前記変換手段は、前記基準点の座標変換に要する複数の定常的特徴点の座標位置のいずれかが前記取得手段により取得できなかった場合、前記認識手段によって認識されるとともに前記送信手段による要求信号の送信に応答して表示された特定パターンにより示される座標基準に基づき前記基準点の座標変換を行う
ことを特徴とする指示位置特定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像投影システムに用いて好適なポインティング装置、外部情報処理装置、及びそれらを含む指示位置特定装置と、指示位置特定方法に関するものである。
【背景技術】
【０００２】
従来、パーソナルコンピュータや外部映像機器をプロジェクタに接続し、各種の表示画像を任意の投影面上に拡大表示させる投影システムがプレゼンテーション等において用いられている。
【０００３】
係る投影システムを用いた表示画像の投影中にプレゼンテーター等が投影画像内の任意の位置を指示する場合には、一般にレーザーポインターが用いられている。また、パーソナルコンピュータが表示画像にポインタを重畳させるポインタ表示機能を有していたり、同様の機能がプロジェクタ側に設けられている場合には、パーソナルコンピュータやプロジェクター側のキー操作、さらにはパーソナルコンピュータに接続されたマウス等のポインティングディバイスや、プロジェクターに付属するリモートコントロールユニットを操作することによって重畳表示されたポインタを移動し、それにより投影画像内の任意の位置が指示可能となっている。
【０００４】
ところで、投影システムにおいては、例えばプレゼンテーター等に指示された表示画像の任意の部分の拡大や、指示した部分の文字の強調や拡大、あるいは線画の表示といった付加機能を設ける場合、プロジェクターやパーソナルコンピュータに指示位置の情報を取得させることが不可欠となる。
【０００５】
その場合、前述したようにポインタにより任意の位置が指示可能なシステムの場合であれば、任意時点におけるポインタの表示位置（重畳位置）をそのまま指示位置として取得することができる。しかし、レーザーポインターが用いられる場合には、指示位置を直ちに取得することができない。これを解決する技術として、例えば下記特許文献１には、投影画像を撮影し、その撮影画像における投影画像領域の画像データと元の表示画像データとを比較し、両画像の差分の画像データを指示画像として取得することによって指示位置を特定する方法や、撮影画像における輝度の高いポイントを指示位置として特定する方法が記載されている。
【特許文献１】特開２００２−２２９７３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、投影システムにおいて投影画像内の任意の位置を指示するとき、それをレーザーポインターを用いて行う場合には、前述した技術を用いれば指示位置の特定は可能であるが、投影画像を撮像するためのカメラ装置をプロジェクターやパーソナルコンピュータに内蔵させるか、または外部接続する必要がある。そのため前者ではプロジェクター等がコスト高となり、後者ではレーザーポインターとは別にカメラ装置を別途用意したり、その設置場所の確保等のように投影前の準備作業が煩雑となる。しかも、投影画像が静止画像であればよいが、動画像である場合等には指示位置の特定が困難となるという問題があった。
【０００７】
一方、プロジェクターやパーソナルコンピュータに前述したようなポインタ表示機能が設けられており、それを用いて投影画像内の任意の位置を指示する場合には上記問題は生じないが、その場合、ポインタの移動作業がキー操作となるため、レーザーポインターを用いる場合と比較して作業性が必ずしも良好にものとは言い難いという問題があった。
【０００８】
本発明は、かかる従来の課題に鑑みてなされたものであり、投影画像の任意の位置の指示に使用されるとともに、使用者の作業性を確保しながら、投影システム等に物理的及び経済的に過大な負担をかけることなく、投影画像内の指示位置の特定が可能となるポインティング装置、外部情報処理装置、指示位置特定装置、及び指示位置特定方法と、それらの実現に使用するプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するため、請求項１の発明にあたっては、表示画面の任意の位置を指示するためのポインティング装置であって、前記表示画面を撮影する撮影手段と、前記撮影手段により撮影された撮影画像における表示画面領域を示す複数の定常的特徴点の座標位置を取得する取得手段と、この撮影手段により撮影された撮影画像における所定の基準点の座標位置を、前記複数の定常的特徴点の座標位置に基づいて、その撮影画像における表示画面領域を正規形に変形したとき対応する前記表示画面の座標位置に変換する変換手段と、この変換手段による変換後の基準点の座標位置を前記表示画面における指示位置として外部情報処理装置へ送信する送信手段とを備え、前記変換手段は前記取得手段により取得された複数の定常的特徴点の座標位置に基づき前記基準点の座標変換を行うとともに、前記複数の定常的特徴点の座標位置のいずれかが取得できなかった場合は、前記取得手段により取得できた座標位置に基づく前回と同様の変換条件に従い前記基準点の座標変換を行うこととした。
【００１０】
かかる構成においては、外部情報処理装置等を用いることなく表示画面内の指示位置を特定し、それを外部情報処理装置へ供給することが可能となり、しかもレーザーポインター等と同様に装置本体の向きを変えるだけで表示画面の任意の位置を指示することができる。また、かかる構成においては、撮影画角内に、表示画面内の指示位置の特定に必要となる複数の定常的特徴点のいずれかが収まっていない場合でも、前回と同様の変換条件に従って指示位置を特定することにより、表示画面内における指示位置を特定することができる。
【００１１】
また、請求項２の発明にあっては、前記送信手段により外部情報処理装置へ送信される指示位置は、前記表示画面に表示すべき所定の指示位置マークの表示位置であるものとした。
【００１２】
かかる構成においては、ポインティング装置の使用者に、自分が指示している表示画面の位置をその表示画面上において確認させることができる。
【００１３】
また、請求項３の発明にあっては、前記基準点は、前記撮影画像の中心であるものとした。
【００１４】
かかる構成においては、基準点の座標位置の変換を、それが撮像画像の中心以外である場合に比べて容易に行うことができる。
【００１７】
また、請求項４の発明にあっては、前記定常的特徴点は、前記表示画面に表示された表示画像の外周縁に存在する枠の四隅であることとした。
【００１８】
また、請求項５の発明にあっては、前記定常的特徴点は前記表示画面領域の外側に存在し、前記変換手段は、前記取得手段により取得された前記特徴点の座標位置を、所定の設定操作により事前に設定されている補正値を用いて補正し、補正後の座標位置に基づき前記基準点の座標変換を行うものとした。
【００２０】
かかる構成においても、撮影画角内に、表示画面内の指示位置の特定に必要となる複数の定常的特徴点のいずれかが収まっていない場合でも、前回と同様の変換条件に従って指示位置を特定することにより、表示画面内における指示位置を特定することができる。
【００２１】
また、請求項６の発明にあっては表示画面の任意の位置を指示するためのポインティング装置であって、前記表示画面を撮影する撮影手段と、前記撮影手段により撮影された撮影画像における表示画面領域を示す複数の定常的特徴点の座標位置を取得する取得手段と、この撮影手段により撮影された撮影画像における所定の基準点の座標位置を、前記複数の定常的特徴点の座標位置に基づいて、その撮影画像における表示画面領域を正規形に変形したとき対応する前記表示画面の座標位置に変換する変換手段と、この変換手段による変換後の基準点の座標位置を前記表示画面における指示位置として外部情報処理装置へ送信する送信手段と前記表示画面の座標基準を示す既知の特定パターンが前記表示画面に表示された状態の前記撮影画像から、前記特定パターンを認識する認識手段と、を備え、前記変換手段による前記基準点の座標変換に要する複数の定常的特徴点の座標位置のいずれかが前記取得手段により取得できなかった場合、前記送信手段は、前記表示画面への前記特定パターンの表示を要求する要求信号を前記外部情報処理装置へ送信し、前記変換手段は、前記認識手段によって認識された特定パターンにより示される座標基準に基づき前記基準点の座標変換を行うものとした。
【００２２】
かかる構成においては、撮影画角内に、表示画面内の指示位置の特定に必要となる複数の定常的特徴点のいずれかが収まっていない場合でも、表示画面に特定パターンを表示させることにより、表示画面内における指示位置を特定することができる。
また、かかる構成においては、表示画面における特定パターンの表示を必要最小限とすることができる。
【００２７】
また、請求項７の発明にあっては、前記特定パターンは、前記表示画面に一定の時間
間隔で表示される画像であるものとした。
【００２８】
また、請求項８の発明にあっては、前記表示画面領域における表示画像の特徴点と、
前記表示画面領域における前記特定パターンの特徴点との位置関係を示す位置関係情報を
取得する位置関係取得手段と、この位置関係取得手段により取得された位置関係情報を記
憶する記憶手段とを備え、前記変換手段は、前記表示画面に特定パターンが表示されてい
ない状態の撮影画像に基づいた前記基準点の座標変換に際し、前記表示画面領域における
表示画像の特徴点に対し前記記憶手段に記憶されている位置関係情報により示される位置
関係にある特徴点を含む前記特定パターンによって示される座標基準に基づき前記基準点
の座標変換を行うものとした。
【００２９】
かかる構成においては、表示画面に特定パターンを一定の時間間隔で表示させておくことにより、撮影画角内に、表示画面内の指示位置の特定に必要となる複数の定常的特徴点のいずれかが収まっていない場合でも、表示画面内における指示位置を特定することができる。しかも、補助画像の表示間隔が長くとも指示位置の特定が可能であるため、特定パターンの表示間隔を長くすることができる。
【００３０】
また、請求項９の発明にあっては、前記撮影画像における表示画面の上下方向の向きを特定する特定手段と、前記撮影画像に存在する文字を認識する文字認識手段と、をさらに備え、前記特定手段は、前記文字認識手段により認識された文字の前記撮影画像での回転状態に基づき前記撮影画像における表示画面の上下方向の向きを特定し、前記変換手段は、前記撮影画像における所定の基準点の座標位置を、その撮影画像における表示画面領域を正規形に変形したとき対応するとともに、前記特定手段により特定された向きに応じて前記表示画面の座標位置に変換するものとした。
【００３１】
かかる構成においては、撮影画像の上下方向の向きが表示画面のそれと一致していない場合であっても、表示画面内の指示位置を正確に特定することができる。また、かかる構成においては、撮影画像の上下方向の向きが表示画面のそれと一致していない場合であっても、表示画面に認識可能な文字が表示されていれば、表示画面内の指示位置を正確に特定することができる。
【００３８】
また、請求項１０の発明にあっては、前記変換手段により座標変換された直近の複数回分の座標位置を平均化する平均化手段をさらに備え、前記送信手段は、前記平均化手段により平均化された座標位置を前記表示画面における指示位置として外部情報処理装置へ送信するものとした。
【００３９】
かかる構成においては、指示位置の特定に際し、装置本体の揺動に起因する位置変化を排除することができる。
【００４０】
また、請求項１１の発明にあっては、発明番号１１前記変換手段により座標変換された今回の座標位置と前回の座標位置との間の距離が決められた閾値を超えている場合、前記平均化手段による直近の複数回分の座標位置の前記平均化を禁止する禁止手段を備え、前記送信手段は、前記変換手段により座標変換された今回の座標位置を前記表示画面における指示位置として外部情報処理装置へ送信するものとした。
【００４１】
かかる構成においては、指示位置の特定に際し、装置本体の揺動に起因する位置変化を排除すると同時に、指示位置の意図的な移動時にはそれに直ちに対応することが可能となる。
【００４２】
また、請求項１２の発明にあっては、前記外部情報処理装置へ所定の動作を指令するための操作手段を備え、前記送信手段は、前記操作手段の操作に応答し所定の指令信号を外部情報処理装置へ送信するとともに、前記変換手段により、前記操作手段の当該操作があった時点よりも前に変換された座標位置を前記指令信号に対応する指示位置として前記外部情報処理装置へ送信するものとした。
【００４３】
かかる構成においては、指示位置の特定に際し、使用者の操作に伴う装置本体の手振れに起因する位置変化を排除することができる。
【００４４】
また、請求項１３の発明にあっては、使用者によって指示された表示画面の任意の位置を指示するための指示位置特定方法であって、前記表示画面を撮影する撮影工程と前記撮影工程により撮影された撮影画像における表示画面領域を示す複数の定常的特徴点の座標位置を取得する取得工程と、撮影した撮影画像における所定の基準点の座標位置を、前記複数の定常的特徴点の座標位置に基づいて、その撮影画像における表示画面領域を正規形に変形したとき対応する前記表示画面の座標位置に変換する変換工程と、変換後の座標位置を外部情報処理装置へ送信する送信工程とを含み、前記変換工程は前記取得工程により取得された複数の定常的特徴点の座標位置に基づき前記基準点の座標変換を行うとともに、前記複数の定常的特徴点の座標位置のいずれかが取得できなかった場合は、前記取得工程によって取得できた座標位置に基づく前回と同様の変換条件に従い前記基準点の座標変換を行う工程をさらに含む方法とした。
【００４５】
かかる方法によれば、外部情報処理装置等を用いることなく、使用者が表示画面の任意の位置の指示に使用するポインティング装置のみによって表示画面内の指示位置を特定することが可能であり、しかもポインティング装置の使用に際しては、それをレーザーポインター等と同様に装置本体の向きを変えるだけで表示画面の任意の位置を指示することが可能となる。
【００４６】
また、請求項１４の発明にあっては、表示画面における任意の位置の指示に使用されるとともに前記表示画面を撮影する撮影手段と送信手段とを備えたポインティング装置が有するコンピュータに、前記撮影手段に前記表示画面を撮影させる撮影処理と、前記撮影処理により撮影された撮影画像における表示画面領域を示す複数の定常的特徴点の座標位置を取得する取得処理と、前記撮影手段に撮影された撮影画像における所定の基準点の座標位置を、前記複数の定常的特徴点の座標位置に基づいて、その撮影画像における表示画面領域を正規形に変形したとき対応する前記表示画面の座標位置に変換する変換処理と、前記送信手段に、変換後の座標位置を前記表示画面における指示位置として外部情報処理装置へ送信させる送信処理とを実行させ、前記変換処理はさらに、前記取得工程により取得された複数の定常的特徴点の座標位置に基づき前記基準点の座標変換を行うとともに、前記複数の定常的特徴点の座標位置のいずれかが取得できなかった場合は、前記取得処理によって取得できた座標位置に基づく前回と同様の変換条件に従い前記基準点の座標変換を実行させるプログラムとした。
【００４９】
また、請求項１５の発明にあっては、表示画面における任意の位置の指示に使用される
ポインティング装置から、そのポインティング装置によって指示された指示位置が送信さ
れる外部情報処理装置であって、前記ポインティング装置から送信された、前記表示画面
の座標基準を示す特定パターンの前記表示画面への表示を要求する要求信号を受信する受
信手段と、この受信手段による前記要求信号の受信に応答し、前記表示画面に前記特定パ
ターンを表示させるための動作を行う表示制御手段とを備えたものとした。
【００５０】
かかる構成においては、表示画面の指示位置を自ら特定して送信する機能を有するポインティング装置からの要求に応じ表示画面に特定パターンを表示させるだけで、ポインティング装置に表示画面内の指示位置を確実に特定させるとともに、その指示位置を取得することができる。
【００５１】
また、請求項１６の発明にあっては、表示画面における任意の位置の指示に使用されるポインティング装置と、このポインティング装置から、使用者により指示された前記表示画面の指示位置を受信する外部情報処理装置とを含む指示位置特定装置であって、前記外部情報処理装置は、前記ポインティング装置から送信された、前記表示画面の座標基準を示す特定パターンの前記表示画面への表示を要求する要求信号を受信する受信手段と、この受信手段による前記要求信号の受信に応答し、前記表示画面に前記特定パターンを表示させるための動作を行う表示制御手段とを備え、前記ポインティング装置は、前記表示画面を撮影する撮影手段と、前記要求信号を送信する送信手段と、前記撮影手段により撮影された撮影画像から、前記表示画面領域を示す複数の定常的特徴点の座標位置を取得する取得手段と、この取得手段により取得された複数の座標位置に基づき、前記撮影手段により撮影された撮影画像における所定の基準点の座標位置を、その撮影画像における表示画面領域を正規形に変形したとき対応する前記表示画面の座標位置に変換する変換手段と、前記表示画面の座標基準を示す既知の特定パターンが前記表示画面に表示された状態の前記撮影画像から、前記特定パターンを認識する認識手段とを備え、前記送信手段は、前記変換手段による前記基準点の座標変換に要する複数の定常的特徴点の座標位置のいずれかが前記取得手段により取得できなかった場合、前記表示画面への前記特定パターンの表示を要求する要求信号を前記外部情報処理装置へ送信し、前記変換手段は、前記基準点の座標変換に要する複数の定常的特徴点の座標位置のいずれかが前記取得手段により取得できなかった場合、前記認識手段によって認識されるとともに前記送信手段による要求信号の送信に応答して表示された特定パターンにより示される座標基準に基づき前記基準点の座標変換を行うものとした。
【００５２】
かかる構成においては、外部情報処理装置等を用いることなく、使用者が表示画面の任意の位置の指示に使用するポインティング装置のみによって表示画面内の指示位置を特定することが可能であり、しかもポインティング装置の使用に際しては、それをレーザーポインター等と同様に装置本体の向きを変えるだけで表示画面の任意の位置を指示することが可能となる。しかも、撮影画角内に、表示画面内の指示位置の特定に必要となる複数の定常的特徴点のいずれかが収まっていない場合でも、表示画面に特定パターンを表示させることによって表示画面内における指示位置を特定することができる。
【発明の効果】
【００５３】
以上のように本発明のポインティング装置によれば、外部情報処理装置等を用いることなく表示画面内の指示位置を特定し、それを外部情報処理装置へ供給することが可能となり、しかもレーザーポインター等と同様に装置本体の向きを変えるだけで表示画面の任意の位置を指示することができる。よって、使用者の作業性を確保しながら、投影システム等に物理的及び経済的に過大な負担をかけることなく、投影画像内の指示位置の特定が可能となる。
【００５４】
また、本発明の指示位置特定方法によれば、外部情報処理装置等を用いることなく、使用者が表示画面の任意の位置の指示に使用するポインティング装置のみによって表示画面内の指示位置を特定することが可能であり、しかもポインティング装置の使用に際しては、それをレーザーポインター等と同様に装置本体の向きを変えるだけで表示画面の任意の位置を指示することが可能となる。よって、使用者の作業性を確保しながら、投影システム等に物理的及び経済的に過大な負担をかけることなく、投影画像内の指示位置の特定が可能となる。
【００５５】
また、本発明の外部情報処理装置によれば、表示画面の指示位置を自ら特定して送信する機能を有するポインティング装置の使用者に、自分が指示している表示画面の位置をその表示画面上において確認させることができる。よって、本発明のポインティング装置を含む特定のポインティング装置の使い勝手を向上させることができる。
【００５６】
また、本発明の指示位置特定装置によれば、外部情報処理装置等を用いることなく、使用者が表示画面の任意の位置の指示に使用するポインティング装置のみによって表示画面内の指示位置を特定することが可能であり、しかもポインティング装置の使用に際しては、それをレーザーポインター等と同様に装置本体の向きを変えるだけで表示画面の任意の位置を指示することが可能となる。
【発明を実施するための最良の形態】
【００５７】
以下、本発明の一実施の形態を図にしたがって説明する。
（実施形態１）
図１は、各実施の形態に共通する本発明に係る指示位置特定装置を構成するポインティング装置１とパーソナルコンピュータ（以下、ＰＣという）２とを含む投影システムの構成図である。この投影システムはＰＣ２から出力された画像データに基づく表示画像をプロジェクタ３がスクリーンＳに投影して拡大表示させる構成である。
【００５８】
ポインティング装置１は、スクリーンＳに投影された表示画像、すなわち投影画像の任意の位置を指示するために使用されるものであり、ユーザーによって指示された指示位置を検出し、それを前記表示画像の座標空間における座標位置（座標値）としてＰＣ２へ送るための以下の構成を備えている。
【００５９】
すなわち、ポインティング装置１はスクリーンＳを撮影する機能を有しており、撮影レンズ１１と、撮影レンズ１１に結像された光学像をデジタル化して取り込むための撮影手段であるＣＣＤ等のイメージセンサ１２と、取り込んだ画像データ（撮影画像データ）に対する種々の画像処理を行う画像処理部１３、演算部１４、通信部１５、メモリ１６、操作部１７から構成される。
【００６０】
演算部１４は、図示しないＣＰＵや、ＣＰＵに上記種々の演算を実行させるためのプログラムを記憶したＲＯＭを含むマイクロコンピュータにより構成されている。本実施の形態において、演算部１４は、上記ＲＯＭに格納されたプログラムに従い動作することにより、前記画像処理部１３による画像処理後の画像データに基づく種々の演算を行うとともに、本発明の変換手段および取得手段として機能することにより、使用時には後述する動作により前記座標位置を演算する。
【００６１】
メモリ１６は演算部１４の作業用のメモリであり、必要に応じて各種データが記憶される。通信部１５は本発明の送信手段であって、例えば通信範囲が比較的狭い赤外線方式や、ブルートゥース（Bluetooth：登録商標）方式、無線ＬＡＮ等の無線による通信方式や、ＵＳＢ（Universal Serial Bus）等の有線による通信方式といた任意のデータ伝送方式により、演算部１４によって演算された座標位置をＰＣ２へ送信する。
【００６２】
操作部１７は、例えばポインティング装置１の使用開始に際して、或は使用中に操作される１又は複数の操作ボタン、及びその操作内容を演算部１４に送る回路等から構成される。
【００６３】
一方、ＰＣ２は例えばノート型のコンピュータであって、本発明の外部情報処理装置として使用されることにより、前述したようにポインティング装置１と共に本発明の指示位置特定装置を構成する。
【００６４】
図示したようにＰＣ２は、ＣＰＵ及びその周辺回路からなる制御部２１と、ＲＡＭ２２、記憶装置２３、操作部２４、ビデオアダプタ２５、ＶＲＡＭ２６、表示装置２７、通信部２８等を有する一般的な構成である。
【００６５】
ビデオアダプタ２５は、表示用のビデオ信号（ＲＧＢ信号）を生成し、ＬＣＤ及びその駆動回路等からなる表示装置２７に出力し、ＶＲＡＭ２６は、ビデオアダプタ２５が生成した表示用の画像データを随時記憶する。また、ビデオアダプタ２５は、図示しないＲＧＢケーブル等を介して前記プロジェクタ３と接続されており、制御部２１の命令に応じて表示用の画像データをＲＧＢケーブルを介してプロジェクタ３へ出力する。
【００６６】
通信部２８は、ポインティング装置１の前記通信部１５が対応するデータ伝送方式による通信インターフェース回路からなる本発明の受信手段であり、ポインティング装置１から送られる前記座標位置を受信して制御部２１へ送る。
【００６７】
操作部２４は、ＰＣ２本体に設けられた複数のキーや、本体に接続されたマウス等であり、ＲＡＭ２２は制御部２１に使用される汎用的な作業用メモリ、また記憶装置２３は記憶容量の比較的大きなハードディスク等である。
【００６８】
記憶装置２３には各種のアプリケーションプログラムが格納されている。特に本実施の形態では、通信部２８におけるポインティング装置１からの前記座標位置の受信を可能とするための通信プログラム、及び制御部２１を本発明の位置マーク表示制御手段として機能させ、後述する動作を行わせるためのプログラムが格納されている。
【００６９】
次に、ユーザーが前記投影システムにより任意の表示画像をスクリーンＳに投影させた状態でポインティング装置１を使用する場合における、ポインティング装置１及びＰＣ２の本発明に係る動作を説明する。なお、ポインティング装置１は撮影レンズ１１側をスクリーンＳに向けた状態で使用される。また、ここでは、例えばユーザーが所定の操作ボタンを押すことにより、又は所定の操作ボタンが押されている間のみ以下のように動作するものとする。
【００７０】
すなわち図２は、使用状態におけるポインティング装置１の動作を示すフローチャートであって、ポインティング装置１は動作開始とともに、一定のフレーム周期（例えば、３０ｆｐｓ）でスクリーンＳを撮影し、図４（ａ）に示したような撮影画像１００を取得する（ステップＳＡ１）。次に、撮影画像１００からその一部である投影画像領域１０１を認識し、その四隅Ａ，Ｂ，Ｃ，Ｄつまり投影画像領域１０１を示す定常的特徴点の座標位置を取得する（ステップＳＡ２）。なお、投影画像領域１０１の認識は、例えば撮影画像１００に対して直線認識を行い、認識した複数の直線に沿って区画される複数の矩形領域を検出し、その中で最も面積の大きな矩形領域の輪郭線を取得する等の任意の方法により行う。
【００７１】
ここで、四隅Ａ，Ｂ，Ｃ，Ｄの全てについて座標位置が取得できたときには（ステップＳＡ３でＹＥＳ）、投影画像領域１０１を正規形に変形（補正）するための変換パラメータ、すなわち変換行列の係数を求め、それを前記メモリ１６に記憶する（ステップＳＡ４）。ここで求める変換パラメータは、例えば斜影変換として知られているひずみ補正を行うための任意の座標変換に使用されるパラメータであり変換行列の係数である。なお、複数種の座標変換を行う場合には各々の座標変換に用いられる係数を求める。
【００７２】
そして、上記変換パラメータを用いて撮影画像１００の中心Ｏ（本発明の基準点）に対応する表示画像２００の座標位置Ｐを演算する（ステップＳＡ５）。具体的には、演算処理の負担を軽減するため、撮影画像１００の中心Ｏの座標位置のみを座標変換するとともに、変換後の座標位置を表示画像２００の座標空間にマッピングしたときの座標位置Ｐを求める。図４（ｂ）は、表示画像２００の画素サイズが１０２４×７６８（ＸＧＡ）であり、その座標空間における撮影画像１００の中心Ｏに対応する座標位置Ｐが（７４２，３７９）である場合の例である。しかる後、演算した座標位置をユーザーによる指示位置としてＰＣ２へ送信する（ステップＳＡ６）。
【００７３】
また、以上の処理を繰り返す間に、例えば撮影レンズ１１の向き（指示位置）が変化し投影画像の全体が撮影画像１００の画角内に収まらない状態となり、ステップＳＡ２において四隅Ａ，Ｂ，Ｃ，Ｄのいずれかの座標位置が取得できなかったときには（ステップＳＡ３でＮＯ）、前回の座標変換で使用した変換パラメータをメモリ１６から読み出す（ステップＳＡ７）。そして、前述したステップＳＡ５では、読み出した変換パラメータを用いた座標変換を行い、つまり前回と同様の変換条件に従い撮影画像１００の中心Ｏに対応する表示画像２００の座標位置Ｐを演算し、それをユーザーによる指示位置としてＰＣ２へ送信する（ステップＳＡ６）。
【００７４】
一方、図３は、ポインティング装置１の使用中におけるＰＣ２の動作を示すフローチャートである。ＰＣ２は、ポインティング装置１から前述した座標位置（指示位置）を受信すると（ステップＳＢ１でＹＥＳ）、プロジェクタ３へ出力中の表示画像とは別に、受信した座標位置Ｐに所定形状のポインタを合成した新たな表示画像を生成し（ステップＳＢ２）、出力中の表示画像を新たな投影画像に切り替える（ステップＳＢ３）。以後、同様の処理を繰り返す。これにより、スクリーンＳ上の投影画像には、ユーザーが指示した位置にポインタが表示され、それがポインティング装置１の向きに応じて移動することとなる。
【００７５】
以上のように本実施の形態においては、ユーザーはポインティング装置１の向きを変えるだけで、つまりレーザーポインターを用いる場合と同様の作業によって投影画像の任意の位置を指示することができる。しかも、ＰＣ２が、投影画像内であってユーザーにより指示された位置にポインタを表示させるため、ユーザーにおいては自分が指示している投影画像内の位置を、その投影画像上において確認することができ、ポインティング装置１にレーザーポインターと全く同一の使用感を確保することができる。
【００７６】
しかも、ポインティング装置１のみで投影画像の指示位置（表示画像２００の座標位置）を特定（検出）し、それをＰＣ２へ供給することができるため、ＰＣ２やプロジェクタ３には、従来レーザーポインターを用いる場合に必要であった投影画像と撮影画像との比較に基づく指示位置の特定作業を行うためのハードウェアやソフトウェアを設ける必要がない。また、投影画像が頻繁に変化するような場合であっても指示位置の特定が可能であり、投影画像が動画像である場合にも対応することができる。
【００７７】
よって、使用者の作業性を確保しながら、投影システムに物理的及び経済的に過大な負担をかけることなく、投影画像内の指示位置を特定することができる。
【００７８】
また、本実施の形態においは、ポインティング装置１の撮影画角内に、投影画像（投影画像領域１０１）の四隅Ａ，Ｂ，Ｃ，Ｄのいずれかが収まっていない場合でも、前回と同様の変換条件に従って指示位置を特定することにより、投影画像における指示位置を特定することができる。そのため、例えばポインティング装置１の使用途中に、表示画像（投影画像）２００が、背景色の輝度が低く撮影画像１００からの輪郭が難しいものに切り替わった場合であっても、それに対応することができる。
【００７９】
なお、本実施の形態においは、撮影画像１００の中心Ｏを基準点として、それが対応する表示画像２００の座標位置Ｐを指示位置とする場合について説明したが、撮影画像１００における中心Ｏ以外の他の座標位置を基準点とすることもできる。ただし、撮影画像１００の中心Ｏを基準点とした方が、前述した座標変換に要する演算が容易となる。
【００８０】
また、ポインティング装置１が、撮影画像１００から投影画像領域１０１の四隅Ａ，Ｂ，Ｃ，Ｄの座標位置を取得し、それに基づき撮影画像１００の中心Ｏの座標位置を、表示画像２００の座標位置Ｐを指示位置に変換するものとしたが、係る座標変換は、表示画像２００の内容の変化に関係なく投影画像領域１０１を示すものであれば、投影画像領域１０１の四隅Ａ，Ｂ，Ｃ，Ｄ以外の他の定常的特徴点の座標位置に基づき行わせるようにしてもよい。
【００８１】
例えば、表示画像２００の背景色の輝度が低い場合は、撮影画像１００から投影画像そのものの輪郭を認識することが難しい。そのため、ＰＣ２に予め表示画像２００の外周縁に枠を付加させる処理を行わせるとともに、ポインティング装置１にその枠を認識させ、かつその四隅の座標位置に基づいて前述した座標変換を行わせてもよい。
【００８２】
また、定常的特徴点は投影画像領域１０１を直接示すものでなくともよく、例えばスクリーンＳとしてホワイトボードが使用される場合には、撮影画像１００から、投影画像領域１０１ではなくホワイトボードの外枠の四隅、つまり投影画像領域１０１の外側に常時存在するとともに投影画像領域１０１を間接的に示す部分としてもよい。その場合には、例えホワイトボードに黒背景のプレゼンテーション資料（表示画像）を投影するような場合であっても、投影画像内の指示位置を特定することができる。
【００８３】
ただし、その場合には、ホワイトボードの外枠の四隅の座標位置を投影画像領域１０１の四隅Ａ，Ｂ，Ｃ，Ｄの座標位置に補正するための補正値を、所定のキャリブレーション動作により予め設定させておき、前述した座標変換に際しては、ホワイトボードの外枠の四隅の座標位置を上記補正値によっていったん補正し、補正後の座標位置に基づいた座標変換を行わせる必要がある。なお、上記キャリブレーション動作としては、例えばポインティング装置１から、所定のボタン操作に応じて、投影画像の四隅に所定のマークを表示させる動作をＰＣ２に指示する信号を送信させることにより、投影画像の四隅に所定のマークを表示させる一方、その状態で撮影した撮影画像からホワイトボードの外枠の四隅に対する投影画像領域１０１の四隅Ａ，Ｂ，Ｃ，Ｄのオフセット量を取得させ、それを補正値として設定させるものとすればよい。
【００８４】
（実施形態２）
次に、本発明の第２の実施の形態について説明する。本実施の形態は、図１に示したものと同様の構成において、ポインティング装置１の前記演算部１４が本発明の認識手段として機能し、かつＰＣ２の前記制御部２１が本発明の表示制御手段として機能することにより、ポインティング装置１及びＰＣ２が以下のように動作するものである。ここでは便宜上、ＰＣ２側の動作を先に説明する。
【００８５】
すなわち図５は、本実施の形態におけるＰＣ２の動作を示すフローチャートである。本実施の形態においてもＰＣ２は第１の実施の形態と同様、ポインティング装置１から前述した座標位置（指示位置）を受信すると（ステップＳＢ１０１でＹＥＳ）、プロジェクタ３へ出力中の投影画像とは別に、受信した座標位置Ｐに所定形状のポインタを合成した新たな投影画像を生成し（ステップＳＢ１０２）、出力中の投影画像をポインタを合成した新たな画像に切り替えた後（ステップＳＢ１０３）、ステップＳＢ１０１へ戻る。
【００８６】
一方、ポインティング装置１からの座標位置とは別の所定の要求信号を受信した場合には（ステップＳＢ１０１でＮＯ、ステップＳＢ１０４でＹＥＳ）、一定時間間隔（例えば１／５秒間隔）による特定パターンの表示を設定した後（ステップＳＢ１０５）、その時点でプロジェクタ３へ出力中の表示画像（ポインタの有無は関係ない）とは別に、特定パターンを合成した新たな表示画像を生成する（ステップＳＢ１０６）。しかる後、ステップＳＢ１０３へ進み、出力中の表示画像を特定パターンを合成した新たな画像に切り替え、ステップＳＢ１０１へ戻る。
【００８７】
上記ステップＳＢ１０６で合成する前記特定パターンは、ポインティング装置１が取得する撮影画像における座標基準を示すために予め用意されたパターンであって、本実施の形態では図８（ａ）に示したような直交座標を示す方眼パターンである。
【００８８】
また、ＰＣ２は、ポインティング装置１から座標位置も要求信号も送信されていない間においては（ステップＳＢ１０１、ステップＳＢ１０４が共にＮＯ）、その時点で、前述した特定パターンの表示タイミングでなければ（ステップＳＢ１０７でＮＯ）、そのままステップＳＢ１０１へ戻る。なお、かかる動作は、ステップＳＢ１０５による特定パターンの表示設定を行っていない場合についても同様である。これに対して、その時点が特定パターンの表示タイミングであった場合には（ステップＳＢ１０７でＹＥＳ）、特定パターンを合成した新たな表示画像を生成した後（ステップＳＢ１０６）、その時点で出力中の表示画像を新たな画像に切り替え（ステップＳＢ１０３）、以後、上述した動作を繰り返す。
【００８９】
一方、図６は、ポインティング装置１の動作を示すフローチャートである。本実施の形態においてもポインティング装置１は一定のフレーム周期でスクリーンＳを撮影し、撮影画像を取得した後（ステップＳＡ１０１）、前述した特定パターンの表示を要求する要求信号をＰＣ２に対し送信していなければ（ステップＳＡ１０２でＮＯ）、取得した撮影画像からその一部である投影画像領域を認識し、その四隅の座標位置を取得する（ステップＳＡ１０３）。
【００９０】
そして、ステップＳＡ１０１において図４に示したような撮影画像１００が取得されており、投影画像領域１０１の四隅Ａ，Ｂ，Ｃ，Ｄの座標位置が全て取得できた場合には（ステップＳＡ１０４でＹＥＳ）、第１の実施の形態と同様、投影画像領域１０１を正規形に変形（補正）するための変換パラメータを求める（ステップＳＡ１０５）。そして、その変換パラメータを用いて撮影画像１００の中心Ｏに対応する表示画像２００の座標位置Ｐを演算し（ステップＳＡ１０６）、しかる後、演算した座標位置をユーザーによる指示位置としてＰＣ２へ送信する（ステップＳＡ１０７）。これにより、スクリーンＳ上の投影画像には、ユーザーが指示した位置にポインタが表示される。
【００９１】
一方、ステップＳＡ１０４の判別結果がＮＯであって、ステップＳＡ１０２において投影画像領域の四隅のうちのいずれかの座標位置が取得できなかったとき、すなわちステップＳＡ１０１において、例えば図７に示したように投影画像（表示画像）２００の左上の角部Ａしか写っていないような撮影画像１００が取得されたときには、ＰＣ２に対して前述した特定パターン（方眼パターン）の表示を要求する要求信号を送信し（ステップＳＡ１０８）、ステップＳＡ１０１へ戻る。これにより、スクリーンＳには、図７に示したように表示画像２００とは別に、図８（ａ）に示したような特定パターンの合成された状態の表示画像２００が一定時間間隔で表示されることとなる。
【００９２】
また、いったん要求信号を送信した後には（ステップＳＡ１０２でＹＥＳ）、ステップＳＡ１０１で取得した撮影画像１００から前述した特定パターンを認識する（ステップＳＡ１０９）。そして、特定パターンが認識できたときには（ステップＳＡ１１０でＹＥＳ）、撮影画像１００から、特定パターンが合成されていない本来の投影画像と特定パターンとの位置関係を示す位置関係データを取得し、それをメモリ１６へ記憶する（ステップＳＡ１１１）。上記位置関係データは、特定パターンが合成されていない本来の投影画像（表示画像）の特徴点と、特定パターンの特徴点との位置関係を示すものであり、例えば本来の表示画像２００が図９（ａ）に示したように文書画像である場合には、図９（ｂ）に示した文字のレイアウトを示す矩形領域２００ａ，２００ｂの各々の四隅のうちのいずれかの座標位置と、特定パターンにおける１又は複数の特徴点の座標位置との位置関係を示すデータであり、本来の投影画像が自然画等である場合には、輝度や色等が特徴的な部分の座標位置と特定パターンにおける１又は複数の特徴点の座標位置との位置関係を示すデータである。
【００９３】
引き続き、特定パターンにより示される座標基準に基づき、投影画像領域１０２を正規形に変形するための変換パラメータを求め（ステップＳＡ１１２）、その変換パラメータを用いて撮影画像１００の中心Ｏに対応する表示画像２００の座標位置Ｐを演算する（ステップＳＡ１０６）。図８（ｂ）は、表示画像２００の画素サイズが１０２４×７６８（ＸＧＡ）であり、その座標空間における撮影画像１００の中心Ｏに対応する座標位置Ｐが（３５５，４７８）である場合の例である。しかる後、演算した座標位置をユーザーによる指示位置としてＰＣ２へ送信する（ステップＳＡ１０７）。これにより、スクリーンＳ上の投影画像には、ユーザーが指示した位置にポインタが表示される。
【００９４】
一方、ステップＳＡ１１０の判別結果がＮＯであって、撮影画像１００から特定パターンが認識できないとき、つまりステップＳＡ１０１の撮影タイミングで、特定パターンが合成された状態の表示画像２００が表示されていなかったときには、前述した位置関係データの記憶の有無を確認し、それが記憶されていなければ（ステップＳＡ１１３でＮＯ）、そのままステップＳＡ１０１へ戻る。
また、既に位置関係データが記憶されていれば（ステップＳＡ１１３でＹＥＳ）、投影画像の一部に相当する否矩形状の投影画像領域を認識して、前述した文字のレイアウトや１又は複数の特徴点の位置を確認するとともに、それと前述した位置関係データとに基づいて、投影画像領域に特定パターンを復元する（ステップＳＡ１１４）。そして、復元した特定パターンにより示される座標基準に基づき、投影画像領域１０２を正規形に変形するための変換パラメータを求めた後（ステップＳＡ１１２）、その変換パラメータを用いて撮影画像１００の中心Ｏに対応する表示画像２００の座標位置Ｐを演算し、それをユーザーによる指示位置としてＰＣ２へ送信する（ステップＳＡ１０６，ＳＡ１０７）。これにより、スクリーンＳ上の投影画像には、ユーザーが指示した位置にポインタが表示される。
【００９５】
以上のように本実施の形態においては、ポインティング装置１の撮影画角内に投影画像の全体が収まっている場合には、第１の実施の形態と同様、撮影画像１００から投影画像領域１０１を認識し、その四隅Ａ，Ｂ，Ｃ，Ｄの座標位置と撮影画像の中心Ｏとの位置関係に基づいてユーザーにより指示された指示位置を特定することができる。さらに、使用開始当初からポインティング装置１の撮影画角内に投影画像の全体が収まっていないような場合にあっては、表示画像２００に特定パターンを合成して投影させ、その特定パターンを認識させることにより、そのような場合についてもユーザーによる指示位置を特定することができる。したがって、ユーザーが比較的スクリーンＳの近くに居る場合や、スクリーンＳ及び投影画像が極めて大きい場合等であっても対応することができる。
【００９６】
また、ＰＣ２における特定パターンの表示処理を、ポインティング装置１からの要求があった場合にだけ行わせるようにしたことから、特定パターンの表示を必要最小限に止めることができる。
【００９７】
また、本来の投影画像と特定パターンとの位置関係を示す位置関係データを記憶しておき、特定パターンが表示されていない期間には、投影画像の特徴点を基準として特定パターンを復元することによりユーザーによる指示位置を特定するようにした。そのため、特定パターンの表示間隔を長くすることができる。
【００９８】
なお、本実施の形態においては、ＰＣ２が、ポインティング装置１から特定パターンの表示要求があると、それ以後は一定時間間隔による特定パターンの表示処理を継続して行うものについて説明したが、それを決められた期間（例えば数分間）だけ行うものとしてもよい。また、撮影画像１００の中心Ｏを基準点としたが、第１の本実施の形態と同様、中心Ｏ以外の他の座標位置を基準点とすることもできる。
【００９９】
（実施形態３）
次に、本発明の第３の実施の形態について説明する。本実施の形態は、図１０に示したように、図１で説明した構成に加え重力検出部１８が付加された構成を有したポインティング装置１に関するものである。重力検出部１８は、重力方向を検出し、その検出結果を演算部１４へ送る部分であって、重力センサ、及びその検出信号の増幅回路や、増幅後の信号処理回路等から構成される。なお、本実施の形態において、重力検出部１８が演算部１４へ送る重力方向は、前記イメージセンサ１２により撮像される撮影画像の上下が水平となる状態を基準とした前記撮影レンズ１１の光軸回りの回転角度を示す情報である。
【０１００】
そして、本実施の形態のポインティング装置１においては、その使用時に前記演算手段が本発明の特定手段として機能することにより、以下のように動作する。
【０１０１】
すなわち図１１のフローチャートに示したように、本実施の形態においてもポインティング装置１は一定のフレーム周期でスクリーンＳを撮影し、撮影画像を取得するとともに（ステップＳＡ２０１）、その時の重力方向を検出する（ステップＳＡ２０２）。次に、取得した撮影画像から投影画像領域を特定した後（ステップＳＡ２０３）、ステップＳＡ２０１で検出した撮影時の重力方向に応じて投影画像領域を回転することにより、その天地方向を修正する（ステップＳＡ２０４）。
【０１０２】
図１２（ａ）は、ステップＳＡ２０１で取得された撮影画像１００、同図（ｂ）は、その投影画像領域１０１を回転した状態の一例を示す図である。
【０１０３】
そして、修正後の投影画像領域１０１の四隅Ａ，Ｂ，Ｃ，Ｄの座標位置を取得し（ステップＳＡ２０５）、以後、第１の実施の形態と同様、四隅Ａ，Ｂ，Ｃ，Ｄの全てについて座標位置が取得できたときには（ステップＳＡ２０６でＹＥＳ）、投影画像領域１０１を正規形に変形（補正）するための変換パラメータを求め、それを前記メモリ１６に記憶するとともに（ステップＳＡ２０７）、その変換パラメータを用いて撮影画像１００の中心Ｏに対応する表示画像２００の座標位置Ｐを演算する（ステップＳＡ２０８）。しかる後、演算した座標位置をユーザーによる指示位置としてＰＣ２へ送信する（ステップＳＡ２０９）。
【０１０４】
また、以上の処理を繰り返す間、ステップＳＡ２０５において四隅Ａ，Ｂ，Ｃ，Ｄのいずれかの座標位置が取得できなかったときには（ステップＳＡ２０６でＮＯ）、前回の座標変換で使用した変換パラメータをメモリ１６から読み出すとともに（ステップＳＡ２１０）、読み出した変換パラメータを用いた座標変換を行い（ステップＳＡ２０８）、撮影画像１００の中心Ｏに対応する表示画像２００の座標位置Ｐを演算し、それをユーザーによる指示位置としてＰＣ２へ送信する（ステップＳＡ２０９）。
【０１０５】
以上のように本実施の形態においては、撮影画像１００の中心Ｏを、それと対応する表示画像（投影画像）の座標空間における座標位置Ｐに座標変換する前に、予め投影画像領域１０１を天地方向を撮影時の重力方向により修正することから、撮影時に、撮影レンズ１１の光軸を中心とする回転方向に装置本体が傾いていた場合であっても、投影画像における指示位置を正確に特定することができる。
【０１０６】
そのため、ユーザーにあっては、装置本体の天地方向を全く意識することなくポインティング装置１を使用することができ都合がよい。すなわち一般にポインティング装置は、特定の部分を指し示す必要があることから、細長い形状をしていることが多く、また、持ちやすさを考慮すると、できるだけ細くする必要があることから、一般的にはペン形状となる。係ることから使用時に天地方向を意識する必要があると、使い勝手が極めて悪くなるためである。特に、ユーザーが半身の姿勢で説明する場合などでは、ポインティング装置１が９０度程度傾いて状態で使用されることが頻繁に起こると予想されるが、その様な場合であっても指示位置を正確に特定することができる。
【０１０７】
ここで、本実施の形態では、ポインティング装置１に重力検出部１８を設け、撮影時の重力方向に基づいて撮影画像の上下方向の向き（直接的には傾き）を特定するものについて説明したが、重力検出部１８を設けることなく撮影画像の上下方向の向きを特定させてもよい。以下、その変形例について説明する。
【０１０８】
まず、第１の変形例としては、予め投影画像の所定位置に特定のマークやパターン等の標識を付加させるものとし、ポインティング装置１に、撮影画像から前記標識を認識させて、その表示位置によって撮影画像の上下方向の向きを特定させるものである。その場合、ポインティング装置１には、図１１に示した動作中の例えばステップＳＡ２０２で前記標識の認識及び表示位置の判定を行わせるとともに、ステップＳＡ２０４では、表示位置に応じて投影画像領域を回転させるようにすればよい。図１３は、前記標識を投影画像の下辺に沿ったライン３００とした場合における撮影画像１００（ａ）と、回転後の投影画像領域１０１（ｂ）の一例を示した図である。なお、前記標識の投影位置は固定とても、可変としてもよく、固定とする場合にはポインティング装置１にその位置を記憶させておく必要があり、可変とする場合にはＰＣ２に対してその位置を送信させる必要がある。
【０１０９】
また、第２の変形例としては、予め投影画像の一部に上下方向の向きを表す予め決められた形状（矢印等）の特定のマークやパターン等の標識を付加させるものとし、ポインティング装置１に、撮影画像から上記標識を認識させて、標識の向きによって撮影画像の上下方向の向きを特定させるものである。その場合、例えば前述したステップＳＡ２０２で上記標識の認識および標識の向きの判定を行わせ、ステップＳＡ２０４で標識の向きに応じた投影画像領域の回転処理を行わせるようにすればよい。
【０１１０】
また、上述したいずれの変形例においても、前記標識の投影は定常的に行ってもよいし、間欠的に行ってもよいが、間欠的に行う場合には、標識の投影時と非投影時との撮影画像を比較するだけで、標識を差分として明確かつ極めて容易に判定することができる。また、前記標識として使用する特定のマークには会社等のロゴマークを使用してもよい。
【０１１１】
また、第３の変形例としては、撮影画像１００に認識可能な文字が存在する場合に、それを認識し、認識した文字の回転状態によって撮影画像の上下方向の向きを特定させるものである。その場合、漢字のような複雑な文字の場合、認識処理に時間がかかるだけでなく、認識ミスの確率も高くなるため、認識対象を例えば英数字と平仮名に限定するのが好ましい。そして、ポインティング装置１には、認識対象とする文字毎に、例えば９０°毎に回転状態が異なった基準となる文字画像を記憶させておき、例えば前述したステップＳＡ２０２では、撮影画像から文字列部分を判定するとともに、その部分を１文字分に相当する部分単位で、回転状態が異なった基準に基づいた文字認識を行うとともに、認識の確度が低い場合には、つぎの部分について同様の文字認識を行い、確度の高い認識結果が得られた段階で、撮影画像の上下方向の向きを特定する処理を行わせ、ステップＳＡ２０４で回転状態に応じた投影画像領域の回転処理を行わせるようにすればよい。
【０１１２】
図１４は、認識対象が平仮名であり、「あ」の文字が認識できた場合における撮影画像１００（ａ）と、回転後の投影画像領域１０１（ｂ）の一例を示した図である。
【０１１３】
なお、以上の説明においては、撮影画像１００の上下方向の向きに応じて投影画像領域１０１を先に修正（回転）させてから、前述した座標変換を行うものについて説明したが、これに限らず、投影画像領域１０１の四隅Ａ，Ｂ，Ｃ，Ｄに基づいた座標変換を先に行った後、撮影画像１００の上下方向の向きの向きに応じて、上記座標変換により得られた座標値を、座標空間を回転させることにより補正し、補正後の座標値を指定位置としても構わない。
【０１１４】
（実施形態４）
次に、本発明の第４の実施の形態について説明する。本実施の形態は、図１に示した構成において、前記操作部１７に、例えば投影画像上で指示した任意の部分の拡大や、指示した文字の強調や拡大、あるいは線画の表示等の所定の処理をＰＣ２に行わせるためのコマンド送信用の操作ボタンが設けられるとともに、使用中に前記メモリ１６には、複数回検出した指示位置のデータ（座標値）を記憶するための第１〜第４のバッファ領域、すなわち図１５に示したＢｕｆ１，Ｂｕｆ２，Ｂｕｆ３，Ｌａｓｔが確保されるポインティング装置に関するものである。
【０１１５】
そして、本実施の形態のポインティング装置においては、操作部１７が本発明の操作手段として機能し、かつ前記演算部１４が本発明の平均化手段、禁止手段として機能することにより以下のように動作する。
【０１１６】
すなわち図１６フローチャートに示したように、本実施の形態のポインティング装置は、動作開始当初にまず各バッファ領域Ｂｕｆ１，Ｂｕｆ２，Ｂｕｆ３，Ｌａｓｔのデータを消去する初期化を行い（ステップＳＡ３０１）、以後、一定のフレーム周期でスクリーンＳを撮影し、撮影画像を取得する（ステップＳＡ３０２）。
【０１１７】
次に、前記操作ボタンが押され、かつその時点で第４のバッファ領域（Ｌａｓｔ）にデータ（座標値）が記憶されているか否かを判別する（ステップＳＡ３０３）。ここで、動作開始当初つまり１回目の撮影時には第４のバッファ領域（Ｌａｓｔ）は空であって係る判別の結果はＮＯとなるため、そのままユーザーによる指示位置を検出するためのポインティング座標計算を行い、その計算結果を今回のサンプルデータＲ０として検出する（ステップＳＡ３０５）。なお、ポインティング座標計算は、例えば先に第１の実施の形態において説明した方法により行うものとする。
【０１１８】
次に、上記計算結果と、第４のバッファ領域（Ｌａｓｔ）に記憶されている座標値との差（座標距離）が閾値（Ｔｈｒｅｓｈ）を超えているか否かを判別する（ステップＳＡ３０６）。動作開始当初においては、第４のバッファ領域（Ｌａｓｔ）は空であって係る判別の結果はＮＯとなるため、直ちに第２及び第３のバッファ領域（Ｂｕｆ２，Ｂｕｆ３）のデータを、第１及び第２のバッファ領域（Ｂｕｆ１，Ｂｕｆ２）へ移行するとともに、第３のバッファ領域（Ｂｕｆ３）に、先に計算した座標値Ｒ０を記憶する（ステップＳＡ３０９）。すなわち、第３のバッファ領域（Ｂｕｆ３）のデータを新たに検出した座標値とし、第２のバッファ領域（Ｂｕｆ２）のデータを前回の座標値とし、第１のバッファ領域（Ｂｕｆ１）のデータを前々回の座標値とする。
【０１１９】
さらに、動作開始当初においては、第１及び第２のバッファ領域（Ｂｕｆ１，Ｂｕｆ２）は空であるため（ステップＳＡ３１０，ＳＡ３１０が共にＹＥＳ）、第４のバッファ領域（Ｌａｓｔ）に第３のバッファ領域（Ｂｕｆ３）のデータを移行する（ステップＳＡ３１２）。しかる後、第４のバッファ領域（Ｌａｓｔ）のデータ、すなわち新たに検出した座標値Ｒ０を、そのままユーザーによる指示位置を示す今回の座標位置としてＰＣ２へ送信した後（ステップＳＡ３１５）、ステップＳＡ３０２へ戻り前述した処理を繰り返す。
【０１２０】
そして、２回目の撮影に伴う処理に際しては、第２のバッファ領域（Ｂｕｆ２）に前回の座標値が記憶されているため（ステップＳＡ３１０がＹＥＳ、ステップＳＡ３１１がＮＯ）、新たに検出した座標値を３倍とし、前回の座標値を２倍とする重みを付けを行ったうえで両者の座標値を加重平均し、その座標値を第４のバッファ領域（Ｌａｓｔ）に記憶し（ステップＳＡ３１４）、その座標値をユーザーによる指示位置を示す今回の座標位置としてＰＣ２へ送信する（ステップＳＡ３１５）。
【０１２１】
また、３回目以降の撮影に伴う処理に際しては、第１のバッファ領域（Ｂｕｆ１）に前々回の座標値が記憶されているため（ステップＳＡ３１０がＮＯ）、新たに検出した座標値を３倍とし、かつ前回の座標値を２倍とし、かつ前々回の座標値を１倍する重みを付けを行ったうえで、直近３回分の座標値を加重平均して、その座標値を第４のバッファ領域（Ｌａｓｔ）に記憶し（ステップＳＡ３１３）、その座標値をユーザーによる指示位置を示す今回の座標位置としてＰＣ２へ送信する（ステップＳＡ３１５）。
【０１２２】
これにより、ユーザーがポインティング装置によって投影画像の特定の部分を指示する際、装置本体が揺動している場合における指示位置の変化を抑えることができ、投影画像上のポインタのふらつきを低減することができる。
【０１２３】
一方、上記の処理を繰り返す間に、いずれかの撮影タイミングで検出した新たな座標値（Ｒ０）と、第４のバッファ領域（Ｌａｓｔ）に記憶されている前回の座標値との差が閾値（Ｔｈｒｅｓｈ）を超えていたときには（ステップＳＡ３０６でＹＥＳ）、第１及び第２のバッファ領域（Ｂｕｆ１，Ｂｕｆ２）の記憶データ、つまり前回及び前々回の座標値を消去するとともに、第３及び第４のバッファ領域（Ｂｕｆ３，Ｌａｓｔ）に新たな座標値を記憶する（ステップＳＡ３０７）。しかる後、その座標値をユーザーによる指示位置を示す今回の座標位置としてＰＣ２へ送信する（ステップＳＡ３０８）。つまり、前回の指示位置から一定の距離以上離れた座標位置を検出した場合については、ステップＳＡ３１３又はステップＳＡ３１４による前述した加重平均処理はキャンセルする。
【０１２４】
これにより、指示位置がユーザーの意図的によって移動したときには、それに即座に反応してポインタを移動させることができる。
【０１２５】
そして、いずれかの撮影タイミングで前記操作ボタンが押されており、かつその時点で第４のバッファ領域（Ｌａｓｔ）に座標値が記憶されていたときには（ステップＳＡ３０３でＹＥＳ）、前述した操作ボタンの入力情報、つまりＰＣ２に所定の処理を行わせるための指令信号と共に、その座標値をユーザーによる指示位置を示す今回の座標位置としてＰＣ２へ送信する（ステップＳＡ３０４）。つまり操作ボタンが押されたときには、その操作あった直前の撮影タイミングで検出していた指示位置を、前記指令信号に対応する指示位置として送信する。
【０１２６】
これにより、ユーザーが操作ボタンを操作したとき、その操作に伴う手振れによって指示位置が変化してしまうことを未然に防止することができ、ユーザーが意図した通りの処理、すなわち指示した任意の部分の拡大や、指示した文字の強調や拡大、あるいは線画の表示等の所定の処理をＰＣ２に行わせることができる。
【０１２７】
なお、本実施の形態においては、装置本体が揺動している場合における指示位置の変化を抑えるための前述した加重平均処理（ステップＳＡ３１３）で使用する座標値のデータを直近３回分のデータとしたが、それ以外の回数分のデータを用いるようにしてもよい。
【０１２８】
また、前述したステップＳＡ３０６の判別で使用する閾値（Ｔｈｒｅｓｈ）を固定値としたが、これに限らず、ポインティング装置の一連の操作に伴う指示位置の移動量を逐次蓄積しておき、その移動量の変化に応じて前記閾値を動的に変化させるようにしてもよい。例えば前回までの一定期間内における移動量の傾向を確認し、移動量が大きいほど閾値を大きくし、移動量が小さいほど閾値を小さくするようにしてもよい。
【０１２９】
また、操作ボタンが押されたときには、その操作あった直前の撮影タイミングで検出していた指示位置を、前記指令信号に対応する指示位置として送信するようにしたが、次のようにしてもよい。すなわち一般に操作ボタンの押し下げ動作開始時点から、それが検出されるまでには数十ｍｓｅｃの時間がかかることが知られている。したがって、操作ボタンの操作検出時点からある一定時間前（例えば５０ｍｓｅｃ以前）に検出した指示位置を前記指令信号に対応する指示位置として送信させるようにしてもよい。
【０１３０】
また、上記のように指令信号に対応する指示位置として過去に検出した指示位置を送信する処理と、前述した装置本体が揺動している場合における指示位置の変化を抑えるための加重平均処理、及び必要に応じてそれをキャンセルする処理とは、必ずしも一括して行わせる必要はなく、各々の処理を単独で行わせるようにしても構わない。また、それらの処理は、当然のごとく前述した第１〜第３の実施の形態で説明した動作中に行うようにしてもよい。
【０１３１】
一方、以上説明した第１〜第４の実施の形態においては、ポインティング装置１によって特定された投影画像の指示位置にポインタを表示させたが、投影画像ではなくＰＣ２の表示装置２７のみに表示させたり、双方に表示させてもよい。
【０１３２】
また、本発明の外部情報処理装置がＰＣ２である場合についてのみ説明したが、プロジェクタ３が、ポインティング装置１から前述した指示位置や、第２の実施の形態で説明した要求信号や、第４の実施の形態で説明した指令信号を受信可能な構成であれば、プロジェクタ３を本発明の外部情報処理装置として前述したＰＣ２側の処理、すなわちポインタの表示処理や方眼パターン等の特定パターンの表示処理等を行わせるようにしても構わない。さらに、それをＰＣ２を含まない投影システムにおいて実現してもよい。
【０１３３】
また、本発明のポインティング装置は、プロジェクタ２によってスクリーン拡大表示された投影画像に限らず、それ以外の表示画像の任意の位置を指示するものであっても構わない。例えばプラズマ・ディスプレイ（ＰＤＰ）や、液晶ディスプレイ（ＬＣＤ）の表示画面等における任意の位置を指示するものとしても使用することができる。さらには、パーソナルコンピュータにおいて、例えばマウスカーソルを移動させるための装置として使用したり、パーソナルコンピュータに対してモニタの表示画面内の任意の箇所の絶対位置情報を入力するための装置としても使用することができる。
【図面の簡単な説明】
【０１３４】
【図１】本発明の各実施の形態に共通する投影システムの構成図である。
【図２】第１の実施の形態におけるポインティング装置の動作を示すフローチャートである。
【図３】同実施の形態におけるＰＣの動作を示すフローチャートである。
【図４】ポインティング装置による座標変換処理の内容を示す説明図である。
【図５】第２の実施の形態におけるＰＣの動作を示すフローチャートである。
【図６】同実施の形態におけるポインティング装置の動作を示すフローチャートである。
【図７】投影画像が収まらない状態の撮影画像の例を示す図である。
【図８】ポインティング装置による方眼パターンに基づく座標変換処理の内容を示す説明図である。
【図９】表示画像が文書画像である場合の特徴点を示す説明図である。
【図１０】第３の実施の形態を示すポインティング装置のブロック図である。
【図１１】同実施の形態におけるポインティング装置の動作を示すフローチャートである。
【図１２】撮影画像と、回転後の投影画像領域の一例を示した図である。
【図１３】同実施の形態における第１の変形例を示す図１２に対応する図である。
【図１４】同実施の形態における第３の変形例を示す図１２に対応する図である。
【図１５】第４の実施の形態においてポインティング装置のメモリに確保されるバッファ領域を示す概念図である。
【図１６】同実施の形態におけるポインティング装置の動作を示すフローチャートである。
【符号の説明】
【０１３５】
１    ポインティング装置
２    ＰＣ
３    プロジェクタ
１１    撮影レンズ
１２    イメージセンサ
１３    画像処理部
１４    演算部
１５    通信部
１６    メモリ
１７    操作部
２１    制御部
２２    ＲＡＭ
２３    記憶装置
２４    操作部
２５    ビデオアダプタ
２６    ＶＲＡＭ
２７    表示装置
２８    通信部
１００    撮影画像
１０１    投影画像領域
１０２    投影画像領域
２００    投影画像
２００    表示画像
Ｏ    中心
Ｐ    座標位置
Ｓ    スクリーン
【図１】
0004725383.tif 000002
【図２】
0004725383.tif 000003
【図３】
0004725383.tif 000004
【図４】
0004725383.tif 000005
【図５】
0004725383.tif 000006
【図６】
0004725383.tif 000007
【図７】
0004725383.tif 000008
【図８】
0004725383.tif 000009
【図９】
0004725383.tif 000010
【図１０】
0004725383.tif 000011
【図１１】
0004725383.tif 000012
【図１２】
0004725383.tif 000013
【図１３】
0004725383.tif 000014
【図１４】
0004725383.tif 000015
【図１５】
0004725383.tif 000016
【図１６】
0004725383.tif 000017