(57)【要約】    【課題】  ポインティング装置により撮影された撮影画像を用いて、ポインティングする位置を決める情報を取得し、ポインタマークを表示する。    【解決手段】  ポインティング装置３としてたとえばカメラ付きの携帯電話機などを用い、プロジェクタなどの画像表示手段２によって投影された表示画像２３上の任意の位置の所定範囲をその撮影手段３１によって撮影して撮影画像情報を出力する。情報表示装置２が接続される情報処理装装置１は、ポインティング装置３からの撮影画像情報が現在の表示画像のどの範囲に対応するかを判定し、その判定結果から該ポインティング装置３による指示座標を特定する指示座標特定手段１３と、表示画像２３に対応する表示画像情報を記憶する表示画像情報記憶手段１１と、前記表示画像情報上の前記特定された指示座標にポインタマークを合成して表示する表示画像情報生成手段１２とを有する。【選択図】      図１
2004318823.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、
前記ポインティング装置は、該ポインティング装置が前記表示画像上で指示しようとする位置を含む所定範囲を撮影してその所定範囲に対応する撮影画像情報を出力可能な撮影手段を有し、
前記情報処理装置は、前記ポインティング装置からの前記撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果から前記ポインティング装置が指示しようとする位置の座標を指示座標として特定する指示座標特定手段と、前記表示画像情報を記憶する表示画像情報記憶手段と、前記表示画像情報上の前記特定された指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有する、
ことを特徴とする情報表示システム。
【請求項２】
情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、
前記ポインティング装置は、該ポインティング装置が前記表示画像上で指示しようとする位置を含む所定範囲を撮影してその所定範囲に対応する撮影画像情報を出力可能な撮影手段と、この撮影手段からの撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果からこのポインティング装置が指示しようとする位置の座標を指示座標として特定する指示座標特定手段とを有し、
前記情報処理装置は、前記表示画像情報を記憶する表示画像情報記憶手段と、前記表示画像情報上の前記特定された指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有する、
ことを特徴とする情報表示システム。
【請求項３】
情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、
前記ポインティング装置は、該ポインティング装置が前記表示画像上で指示しようとする位置を含む所定範囲を撮影してその所定範囲に対応する撮影画像情報を出力可能な撮影手段を有し、
前記情報処理装置は、前記ポインティング装置からの前記撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果から前記ポインティング装置が指示しようとする位置の座標を指示座標として特定する指示座標特定手段と、表示画像に対応する表示画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、その表示画像情報上の前記指示座標特定手段で特定された指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有する、
ことを特徴とする情報表示システム。
【請求項４】
情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、
前記ポインティング装置は、該ポインティング装置が前記表示画像上で指示しようとする位置を含む所定範囲を撮影してその所定範囲に対応する撮影画像情報を出力可能な撮影手段と、この撮影手段からの撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果からこのポインティング装置が指示しようとする位置の座標を指示座標として特定する指示座標特定手段とを有し、
前記情報処理装置は、表示画像に対応する表示画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、その表示画像情報上の前記指示座標特定手段で特定された指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有する、
ことを特徴とする情報表示システム。
【請求項５】
前記撮影する所定範囲は、前記撮影手段の有する視準手段で設定される撮影可能範囲であって、その視準手段で設定された撮影可能範囲の中央部を前記ポインティング装置で指示しようとする位置とし、その位置の座標を指示座標として取得することを特徴とする請求項１から４のいずれかに記載の情報表示システム。
【請求項６】
前記撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかの判定は、前記撮影画像情報からテンプレート画像情報を生成し、そのテンプレート画像情報と撮影時点での表示画像に対応する表示画像情報とのパターンマッチングによって行うことを特徴とする請求項１から５のいずれかに記載の情報表示システム。
【請求項７】
前記ポインティング装置は、撮影機能と通信機能を有した携帯用情報端末機器であることを特徴とする請求項１から６のいずれかに記載の情報表示システム。
【請求項８】
前記ポインティング装置はコマンド入力手段を有し、前記情報処理装置は前記ポインティング装置からのコマンドを受け付けてそれを処理するコマンド処理手段を有し、該情報処理装置では前記指示座標が特定されたあと、前記コマンド入力手段からコマンドが与えられると、そのコマンド処理を行ってその処理結果を前記指示座標上に反映させることを特徴とする請求項１から７のいずれかに記載の情報表示システム。
【請求項９】
請求項１または３記載の情報表示システムに用いられる情報処理装置であって、
前記ポインティング装置から出力される撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果から前記ポインティング装置が指示しようとする位置を指示座標として特定したのち、前記表示画像情報上の該特定された指示座標にポインタマークを合成して表示する機能を有することを特徴とする情報処理装置。
【請求項１０】
請求項２または４記載の情報表示システムに用いられるポインティング装置であって、
前記撮影手段による撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果からこのポインティング装置が指示しようとする位置の座標を指示座標として特定する機能を有することを特徴とするポインティング装置。
【請求項１１】
請求項９記載の情報処理装置が行うデータ処理手順の記述された情報処理装置のデータ処理プログラムであって、
前記ポインティング装置から出力される撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定する手順と、その判定結果から前記ポインティング装置が指示しようとする位置を指示座標として特定したのち、前記表示画像情報上の前記特定された指示座標にポインタマークを合成して表示する手順と含むことを特徴とする情報処理装置のデータ処理プログラム。
【請求項１２】
請求項１０記載ポインティング装置が行うデータ処理手順の記述されたポインティング装置のデータ処理プログラムであって、
前記撮影手段からの撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定する手順と、その判定結果からこのポインティング装置が指示しようとする位置の座標を指示座標として特定する手順とを含むことを特徴とするポインティング装置のデータ処理プログラム。
【請求項１３】
情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムにおけるポインタマーク表示方法であって、
前記ポインティング装置は、前記表示画像上で指示しようとする位置を含む所定範囲を該ポインティング装置が有する撮影手段によって撮影して、その所定範囲に対応する撮影画像情報を前記情報処理装置側に出力し、
前記情報処理装置側では、前記ポインティング装置から前記撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果から前記ポインティング装置が指示しようとする位置を指示座標として特定したのち、前記表示画像情報上の前記特定された指示座標にポインタマークを合成して表示する、
ことを特徴とする情報表示システムにおけるポインタマーク表示方法。
【請求項１４】
情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムにおけるポインタマーク表示方法であって、
前記ポインティング装置は、前記表示画像上で指示しようとする位置を含む所定範囲を該ポインティング装置の有する撮影手段によって撮影して、その所定範囲に対応する撮影画像情報を得て、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定して、その判定結果から該ポインティング装置が指示しようとする位置を指示座標として特定し、その特定した指示座標に対する指示座標情報を前記情報処理装置側に出力し、
前記情報処理装置側では、前記ポインティング装置から渡された指示座標情報に対応する指示座標にポインタマークを合成して表示する、
ことを特徴とする情報表示システムにおけるポインタマーク表示方法。
【請求項１５】
前記撮影する所定範囲は、前記撮影手段の有する視準手段で設定される撮影可能範囲であって、その視準手段で設定された撮影可能範囲の中央部を前記ポインティング装置で指示しようとする位置とし、その位置の座標を指示座標として取得することを特徴とする請求項１３または１４記載の情報表示システムにおけるポインタマーク表示方法。
【請求項１６】
前記撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかの判定は、前記撮影画像情報からテンプレート画像情報を生成し、そのテンプレート画像情報と撮影時点での表示画像に対応する表示画像情報とのパターンマッチングによって行うことを特徴とする請求項１３から１５のいずれかに記載の情報表示システムにおけるポインタマーク表示方法。
【請求項１７】
情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、
前記ポインティング装置は、該ポインティング装置で撮影しようとする任意の範囲を撮影してその範囲に対応する撮影画像情報を出力可能な撮影手段と、この撮影手段による撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点よりも時間的に前の撮影画像情報と前記現時点での撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段とを有し、
前記情報処理装置は、前記表示画像に対応する表示画像情報を記憶する表示画像情報記憶手段と、前記表示画像情報上において現時点で表示されているポインタマークを、前記ポインティング装置で算出された前記指示座標移動ベクトルに対応する分だけ離れた位置で前記表示画像情報に合成して表示する表示画像情報生成手段とを有する、
ことを特徴とする情報表示システム。
【請求項１８】
情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、
前記ポインティング装置は、ある任意の範囲を撮影してその範囲に対応する撮影画像情報を出力可能な撮影手段を有し、
前記情報処理装置は、前記ポインティング装置の撮影手段の撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点よりも時間的に前の撮影画像情報と前記ポインティング装置の撮影手段から得られた現時点での撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段と、前記表示画像に対応する表示画像情報を記憶する表示画像情報記憶手段と、前記表示画像情報上において現時点で表示されているポインタマークを、前記指示座標移動ベクトル算出手段で算出された前記指示座標移動ベクトルに対応する分だけ離れた位置で前記表示画像情報に合成して表示する表示画像情報生成手段とを有する、
ことを特徴とする情報表示システム。
【請求項１９】
情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、
前記ポインティング装置は、該ポインティング装置で撮影しようとする任意の範囲を撮影してその範囲に対応する撮影画像情報を出力可能な撮影手段と、この撮影手段による撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点よりも時間的に前の撮影画像情報を記憶する撮影画像情報記憶手段と、この撮影画像情報記憶手段に記憶された撮影画像情報と前記現時点の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段とを有し、
前記情報処理装置は、表示画像に対応する表示画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、その表示画像情報上において現時点で表示されているポインタマークを、前記ポインティング装置で算出された前記指示座標移動ベクトルに対応する分だけ離れた位置で前記表示画像情報に合成して表示する表示画像情報生成手段とを有する、
ことを特徴とする情報表示システム。
【請求項２０】
情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、
前記ポインティング装置は、ある任意の範囲を撮影してその範囲に対応する撮影画像情報を出力可能な撮影手段を有し、
前記情報処理装置は、前記ポインティング装置の撮影手段の撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点よりも時間的に前の撮影画像情報を記憶する撮影画像情報記憶手段と、この撮影画像情報記憶手段に記憶された撮影画像情報と前記ポインティング装置の撮影手段から得られた現時点での撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段と、表示画像に対応する表示画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、その表示画像情報上において現時点で表示されているポインタマークを、前記指示座標移動ベクトル算出手段で算出された前記指示座標移動ベクトルに対応する分だけ離れた位置で前記表示画像情報に合成して表示する表示画像情報生成手段とを有する、
ことを特徴とする情報表示システム。
【請求項２１】
前記現時点よりも時間的に前の影画像情報と現時点での撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する処理は、前記現時点での撮影画像情報から生成されたテンプレート画像情報と前記現時点よりも時間的に前の撮影画像情報とのパターンマッチングを行うことによって、前記現時点での撮影画像情報が前記現時点よりも時間的に前の撮影画像情報のどの部分に対応するのかを判定して、その判定結果に基づき、前記現時点での撮影画像情報の移動量と移動方向を求め、求められた移動量と移動方向から指示座標移動ベクトルを算出することを特徴とする請求項１７から２０のいずれかに記載の情報表示システム。
【請求項２２】
前記ポインティング装置は、撮影機能と通信機能を有した携帯用情報端末機器であることを特徴とする請求項１７から２１のいずれかに記載の情報表示システム。
【請求項２３】
前記ポインティング装置はコマンド入力手段を有し、前記情報処理装置は前記ポインティング装置からのコマンドを受け付けてそれを処理するコマンド処理手段を有し、該情報処理装置では前記指示座標が特定されたあと、前記コマンド入力手段からコマンドが与えられると、そのコマンド処理を行ってその処理結果を前記指示座標上に反映させることを特徴とする請求項１７から２２のいずれかに記載の情報表示システム。
【請求項２４】
請求項１７または１９記載の情報表示システムに用いられるポインティング装置であって、
該ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出して、その指示座標移動ベクトルを前記情報処理装置に出力する機能を有することを特徴とするポインティング装置。
【請求項２５】
請求項１８または２０記載の情報表示システムに用いられる情報処理装置であって、
前記ポインティング装置が有する撮影手段の撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出し、前記表示画像上において現時点で表示されているポインタマークを、前記算出された指示座標移動ベクトルに対応する分だけ離れた位置で前記表示画像情報に合成して表示する機能を有することを特徴とする情報処理装置。
【請求項２６】
請求項２４記載のポインティング装置が行うデータ処理手順の記述されたポインティング装置のデータ処理プログラムであって、
該ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する手順と、その指示座標移動ベクトルを前記情報処理装置に出力する出手順とを含むことを特徴とするポインティング装置のデータ処理プログラム。
【請求項２７】
請求項２５記載の情報処理装置が行うデータ処理手順の記述された情報処理装置のデータ処理プログラムであって、
前記ポインティング装置が有する撮影手段の撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する手順と、前記表示画像上において現時点で表示されているポインタマークを、前記算出された指示座標移動ベクトルに対応する分だけ離れた位置で前記表示画像情報に合成して表示する手順とを含むことを特徴とする情報処理装置のデータ処理プログラム。
【請求項２８】
情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムにおけるポインタマーク表示方法であって、
前記ポインティング装置は、該ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出して、その指示座標移動ベクトルを前記情報処理装置に出力し、
前記情報処理装置側では、前記表示画像上において現時点で表示されているポインタマークを、前記ポインティング装置で算出された前記指示座標移動ベクトルに対応する分だけ離れた位置で前記表示画像情報に合成して表示することを特徴とする情報表示システムにおけるポインタマーク表示方法。
【請求項２９】
情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムにおけるポインタマーク表示方法であって、
前記ポインティング装置は、このポインティング装置が有する撮影手段によって任意範囲を撮影し、
前記情報処理装置側では、前記ポインティング装置が有する撮影手段の撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出し、前記表示画像上において現時点で表示されているポインタマークを、前記算出された指示座標移動ベクトルに対応する分だけ離れた位置で前記表示画像情報に合成して表示する、
ことを特徴とする情報表示システムにおけるポインタマーク表示方法。
【請求項３０】
前記現時点よりも時間的に前の影画像情報と現時点での撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する処理は、前記現時点での撮影画像情報から生成されたテンプレート画像情報と前記現時点よりも時間的に前の撮影画像情報とのパターンマッチングを行うことによって、前記現時点での撮影画像情報が前記現時点よりも時間的に前の撮影画像情報のどの部分に対応するのかを判定して、その判定結果に基づき、前記現時点での撮影画像情報の移動量と移動方向を求め、求められた移動量と移動方向から指示座標移動ベクトルを算出することを特徴とする請求項２８または２９記載の情報表示システムにおけるポインタマーク表示方法。
【請求項３１】
情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、
前記ポインティング装置は、該ポインティング装置で撮影しようとする任意の範囲を撮影してその範囲に対応する撮影画像情報を出力可能な撮影手段と、該撮影手段による撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点よりも時間的に前の撮影画像情報と前記現時点での撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段とを有し、
前記情報処理装置は、前記表示画像に対応する表示画像情報を記憶する表示画像情報記憶手段と、前記表示画像情報と前記ポインティング装置からの撮影画像情報と指示座標移動ベクトルとに基づいて、ポインタマークの移動後の仮の指示位置を求め、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定する指示座標特定手段と、前記表示画像情報上の前記特定された指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有する、
ことを特徴とする情報表示システム。
【請求項３２】
情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、
前記ポインティング装置は、該ポインティング装置で撮影しようとする任意の範囲を撮影してその範囲に対応する撮影画像情報を出力可能な撮影手段を有し、
前記情報処理装置は、前記ポインティング装置の撮影手段で得られる撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点よりも時間的に前の撮影画像情報と前記現時点の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段と、前記表示画像に対応する表示画像情報を記憶する表示画像情報記憶手段と、前記表示画像情報と前記算出された指示座標移動ベクトルと前記ポインティング装置からの撮影画像情報とに基づいて、ポインタマークの移動後の仮の指示位置を求め、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定する指示座標特定手段と、前記表示画像情報上の前記特定された指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有する、
ことを特徴とする情報表示システム。
【請求項３３】
情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、
前記ポインティング装置は、該ポインティング装置で撮影しようとする任意の範囲を撮影してその範囲に対応する撮影画像情報を出力可能な撮影手段と、該撮影手段による撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点よりも時間的に前の撮影画像情報と前記現時点での撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段と、前記撮影画像情報と前記指示座標移動ベクトルと表示画像情報とに基づいて、ポインタマークの移動後の仮の指示位置を求め、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定する指示座標特定手段とを有し、
前記情報処理装置は、前記表示画像に対応する表示画像情報を記憶する表示画像情報記憶手段と、前記表示画像情報上の前記特定された指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有する、
ことを特徴とする情報表示システム。
【請求項３４】
前記指示座標特定手段が行う指示座標特定処理は、前記仮の指示位置を基準に所定範囲を設定し、この所定範囲内で前記撮影画像と撮影時点での表示画像情報とのパターンマッチングを行うことによって、それぞれの位置における相関を計算し、計算された相関に基づいて、前記移動後の指示座標を特定することを特徴とする請求項３１から３３のいずれかに記載の情報表示システム。
【請求項３５】
請求項３１に記載の情報表示システムに用いられる情報処理装置であって、
前記表示画像情報記憶手段に記憶されている表示画像情報と前記ポインティング装置からの前記撮影画像情報と前記指示座標移動ベクトルとに基づいて、ポインタマークの移動後の仮の指示位置を求め、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定し、この特定された指示座標にポインタマークを合成して表示する機能を有することを特徴とする情報処理装置。
【請求項３６】
請求項３１に記載の情報表示システムに用いられるポインティング装置であって、
該ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出して、その指示座標移動ベクトルを前記情報処理装置に出力する機能を有することを特徴とするポインティング装置。
【請求項３７】
請求項３２に記載の情報表示システムに用いられる情報処理装置であって、
前記ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出し、この算出された移動座標ベクトルと前記撮影画像情報と前記表示画像情報とに基づいて、ポインタマークの移動後の仮の指示位置として求め、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定し、その特定された指示座標にポインタマークを合成して表示する機能を有することを特徴とする情報処理装置。
【請求項３８】
請求項３３に記載の情報表示システムに用いられるポインティング装置であって、
該ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出して、その指示座標移動ベクトルと撮影時点の撮影画像情報と表示画像情報とに基づいて、ポインタマークの移動後の仮の指示位置を求め、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定する機能を有することを特徴とするポインティング装置。
【請求項３９】
請求項３５記載の情報処理装置が行うデータ処理手順の記述された情報処理装置のデータ処理プログラムであって、
前記表示画像情報記憶手段に記憶されている表示画像情報と前記ポインティング装置からの前記撮影画像情報と前記指示座標移動ベクトルとに基づいて、ポインタマークの移動後の仮の指示位置を求める手順と、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定する手順と、この特定された指示座標にポインタマークを合成して表示する手順とを含むことを特徴とする情報処理装置のデータ処理プログラム。
【請求項４０】
請求項３６記載のポインティング装置が行うデータ処理手順の記述されたポインティング装置のデータ処理プログラムであって、
該ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する手順と、その指示座標移動ベクトルを前記情報処理装置に出力する手順とを含むことを特徴とするポインティング装置のデータ処理プログラム。
【請求項４１】
請求項３７記載の情報処理装置が行うデータ処理手順の記述された情報処理装置のデータ処理プログラムであって、
前記ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する手順と、この算出された移動座標ベクトルと前記撮影画像情報と前記表示画像情報とに基づいて、ポインタマークの移動後の仮の指示位置として求める手順と、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定する手順と、その特定された指示座標にポインタマークを合成して表示する手順とを含むことを特徴とする情報処理装置のデータ処理プログラム。
【請求項４２】
請求項３８記載のポインティング装置が行うデータ処理手順の記述されたポインティング装置のデータ処理プログラムであって、
該ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する手順と、その指示座標移動ベクトルと撮影時点の撮影画像情報と表示画像情報とに基づいて、ポインタマークの移動後の仮の指示位置を求める手順と、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定する手順とを含むことを特徴とするポインティング装置のデータ処理プログラム。
【請求項４３】
情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムにおけるポインタマーク表示方法であって、
前記ポインティング装置は、該ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出して、その指示座標移動ベクトルを前記情報処理装置に出力し、
前記情報処理装置は、前記ポインティング装置からの前記撮影画像情報と前記指示座標移動ベクトルと表示画像情報とに基づいて、ポインタマークの移動後の仮の指示位置を求め、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定し、前記表示画像に対応する表示画像情報上の前記特定された指示座標にポインタマークを合成して表示することを特徴とするポ情報表示システムにおけるポインタマーク表示方法。
【請求項４４】
情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムにおけるポインタマーク表示方法であって、
前記ポインティング装置は、該ポインティング装置が有する撮影手段によって任意範囲を撮影し、
前記情報処理装置は、前記ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出し、この算出された移動座標ベクトルと前記撮影画像情報と前記表示画像に対応する表示画像情報に基づいて、ポインタマークの移動後の仮の指示位置を求め、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定し、前記表示画像情報上の前記特定された指示座標にポインタマークを合成して表示することを特徴とする情報表示システムにおけるポインタマーク表示方法。
【請求項４５】
情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムにおけるポインタマーク表示方法であって、
前記ポインティング装置は、該ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出して、その指示座標移動ベクトルと前記表示画像に対応する表示画像情報に基づいて、ポインタマークの移動後の仮の指示位置を求め、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定し、
前記情報処理装置は、前記表示画像情報上の前記特定された指示座標にポインタマークを合成して表示することを特徴とする情報表示システムにおけるポインタマーク表示方法。
【請求項４６】
前記指示座標特定処理は、前記仮の指示位置を基準に所定範囲を設定し、この所定範囲内で前記撮影画像と撮影時点での表示画像情報とのパターンマッチングを行うことによって、それぞれの位置における相関を計算し、計算された相関に基づいて、前記移動後の指示座標を特定することを特徴とする請求項４３から４５のいずれかに記載の情報表示システムにおけるポインタマーク表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ポインティング位置の座標情報の取得が可能な情報表示システム、この情報表示システムに用いられる情報処理装置、同じくこの情報表示システムに用いられるポインティング装置、情報表示システムにおけるポインタマーク表示方法に関する。
【背景技術】
【０００２】
画像表示装置の１つとして、最近ではプロジェクタが広く用いられるようになってきている。このプロジェクタによって投影された投影画面上の任意位置の座標をこのプロジェクタを接続する情報処理機器（たとえばパーソナルコンピュータコンピュータ）が取得する方法としては、ポインティングを行う手段（指示棒，レーザポインタ等）の他に、投影画面を撮像するための固定カメラや光学センサが必要であり、情報表示システムが大掛かりなものとなるため、汎用性という点では問題がある。
【０００３】
この問題を解決するために、従来から様々な提案がなされている。たとえば、特許文献１の「光学式ポインティングシステム」、特許文献２の「位置検出装置及びその方法、平面姿勢検出装置及びその方法」、特許文献３の「ポインティング装置及びその方法」、特許文献４の「位置検出装置およびその方法」、特許文献５の「COMPUTER PRESENTATION SYSTEM AND METHOD WITH OPTICAL TRACKING OF WIRELESS POINTER」などが挙げられる。
【特許文献１】特開平６−３０８８７９号公報
【特許文献２】特開２００１−１４８０２５号公報
【特許文献３】特開２００１−１６６８８１号公報
【特許文献４】特開２００１−３２５０６９号公報
【特許文献５】米国特許第６２７５２１４号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１は、表示画面上に発光素子を設けて、この発光素子の発光する光を指示器（この指示器がポインティング装置としての役目をなす）に設けられた光電変換素子で受光し、光電変換素子の出力信号から指示器の軸の方向を算出し、その軸方向に対応する位置にポインタマークを表示させるものであるが、位置検出のために表示画面に１個以上の発光素子を設けなければならない。
【０００５】
また、特許文献２，３，４は、撮像手段（カメラ）をポインティング装置として用いており、表示画像の特徴的な画像を撮影して、その特徴的な形状から座標を取得するものである。このため、カメラで撮影する画像に特徴的な形状が含まれている必要があり、たとえば、投影スクリーンの矩形であるとか、表示画像に表示された幾何学的図形をカメラで撮影する必要がある。
【０００６】
また、特許文献４は、表示画面上の各位置にマーカとなるオブジェクトをいくつか配置しなければならず、画像本来の内容とは関係のないものまで表示されることになる。
【０００７】
また、特許文献５は、スクリーン上に表示された表示画像のある位置を手持ち式の光学ビームポインタ（レーザポインタなど）から発せられるビームで指示し、それを撮像手段で撮像して、その撮影画像をコンピュータで処理することによって指示位置を検出するようにしている。
【０００８】
この特許文献５は、ポインティング手段としてレーザポインタなどを用いている。レーザポインタはユーザがごく普通に所有しているものではないため、たとえば、プレゼンテーション会場などにおいては、主催者側がポインティング手段としてのレーザポインタを用意する必要がある。また、レーザポインタから発せられるビームは安全性の面でも問題が指摘されている。
【０００９】
また、この特許文献５の技術では、レーザポインタなどで指示された位置を指示位置として検出するのみであるので、その指示位置で何らかのコマンドを入力するといった操作は行えない。すなわち、レーザポインタにはコマンドなどを入力する機能はないので、指示位置で他の操作（たとえばコマンド入力など）を行う操作を実現するのは困難である。
【００１０】
また、上述した各特許文献２，３，４、５は、指示位置を絶対座標として取得するものであり、相対座標として取得することについては考慮されていない。
【００１１】
そこで本発明は、固定カメラや光学センサを設置することなく、ユーザが一般的に所有している携帯機器をポインティング装置として用いて指示位置の特定を可能とし、かつ、その指示位置にデータ表示などのコマンド入力を可能とする情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法を提供することを目的としている。
【課題を解決するための手段】
【００１２】
（１）指示位置を絶対座標として取得する本発明の情報表示システムは、情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、前記ポインティング装置は、該ポインティング装置が前記表示画像上で指示しようとする位置を含む所定範囲を撮影してその所定範囲に対応する撮影画像情報を出力可能な撮影手段を有し、前記情報処理装置は、前記ポインティング装置からの前記撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果から前記ポインティング装置が指示しようとする位置の座標を指示座標として特定する指示座標特定手段と、前記表示画像情報を記憶する表示画像情報記憶手段と、前記表示画像情報上の前記特定された指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有することを特徴としている。
【００１３】
（２）また、指示位置を絶対座標として取得する本発明の情報表示システムとしては、情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、前記ポインティング装置は、該ポインティング装置が前記表示画像上で指示しようとする位置を含む所定範囲を撮影してその所定範囲に対応する撮影画像情報を出力可能な撮影手段と、この撮影手段からの撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果からこのポインティング装置が指示しようとする位置の座標を指示座標として特定する指示座標特定手段とを有し、前記情報処理装置は、前記表示画像情報を記憶する表示画像情報記憶手段と、前記表示画像情報上の前記特定された指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有する構成であってもよい。
【００１４】
（３）また、指示位置を絶対座標として取得する本発明の情報表示システムとしては、情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、前記ポインティング装置は、該ポインティング装置が前記表示画像上で指示しようとする位置を含む所定範囲を撮影してその所定範囲に対応する撮影画像情報を出力可能な撮影手段を有し、前記情報処理装置は、前記ポインティング装置からの前記撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果から前記ポインティング装置が指示しようとする位置の座標を指示座標として特定する指示座標特定手段と、表示画像に対応する表示画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、その表示画像情報上の前記指示座標特定手段で特定された指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有する構成であってもよい。
【００１５】
（４）また、指示位置を絶対座標として取得する本発明の情報表示システムとしては、情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、前記ポインティング装置は、該ポインティング装置が前記表示画像上で指示しようとする位置を含む所定範囲を撮影してその所定範囲に対応する撮影画像情報を出力可能な撮影手段と、この撮影手段からの撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果からこのポインティング装置が指示しようとする位置の座標を指示座標として特定する指示座標特定手段とを有し、前記情報処理装置は、表示画像に対応する表示画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、その表示画像情報上の前記指示座標特定手段で特定された指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有する構成であってもよい。
【００１６】
（５）前記（１）から（４）のいずれかに記載の情報表示システムにおいて、前記撮影する所定範囲は、前記撮影手段の有する視準手段で設定される撮影可能範囲であって、その視準手段で設定された撮影可能範囲の中央部を前記ポインティング装置で指示しようとする位置とし、その位置の座標を指示座標として取得することが好ましい。
【００１７】
（６）前記（１）から（５）のいずれかに記載の情報表示システムにおいて、前記撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかの判定は、前記撮影画像情報からテンプレート画像情報を生成し、そのテンプレート画像情報と撮影時点での表示画像に対応する表示画像情報とのパターンマッチングによって行うことが好ましい。
【００１８】
（７）前記（１）から（６）のいずれかに記載の情報表示システムにおいて、前記ポインティング装置は、撮影機能と通信機能を有した携帯用情報端末機器であることが好ましい。
【００１９】
（８）前記（１）から（７）のいずれかに記載の情報表示システムにおいて、前記ポインティング装置はコマンド入力手段を有し、前記情報処理装置は前記ポインティング装置からのコマンドを受け付けてそれを処理するコマンド処理手段を有し、該情報処理装置では前記指示座標が特定されたあと、前記コマンド入力手段からコマンドが与えられると、そのコマンド処理を行ってその処理結果を前記指示座標上に反映させることが好ましい。
【００２０】
（９）指示位置を絶対座標として取得する情報表示システムに用いられる本発明の情報処理装置は、前記（１）または（３）に記載の情報表示システムに用いられる情報処理装置は、前記ポインティング装置から出力される撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果から前記ポインティング装置が指示しようとする位置を指示座標として特定したのち、前記表示画像情報上の該特定された指示座標にポインタマークを合成して表示する機能を有することを特徴としている。
【００２１】
（１０）指示位置を絶対座標として取得する情報表示システムに用いられる本発明の情報処理装置は、前記（２）または（４）記載の情報表示システムに用いられるポインティング装置であって、前記撮影手段による撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果からこのポインティング装置が指示しようとする位置の座標を指示座標として特定する機能を有することを特徴としている。
【００２２】
（１１）指示位置を絶対座標として取得する情報表示システムに用いられる本発明の情報処理装置のデータ処理プログラムは、前記（９）記載の情報処理装置が行うデータ処理手順の記述された情報処理装置のデータ処理プログラムであって、前記ポインティング装置から出力される撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定する手順と、その判定結果から前記ポインティング装置が指示しようとする位置を指示座標として特定したのち、前記表示画像情報上の該特定された指示座標にポインタマークを合成して表示する手順と含むことを特徴としている。
【００２３】
（１２）指示位置を絶対座標として取得する情報表示システムに用いられる本発明のポインティング装置のデータ処理プログラムは、前記（１０）記載ポインティング装置が行うデータ処理手順の記述されたポインティング装置のデータ処理プログラムであって、前記撮影手段からの撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定する手順と、その判定結果からこのポインティング装置が指示しようとする位置の座標を指示座標として特定する手順とを含むことを特徴としている。
【００２４】
（１３）指示位置を絶対座標として取得する情報表示システムにおける本発明のポインタマーク表示方法は、情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムにおけるポインタマーク表示方法であって、前記ポインティング装置は、前記表示画像上で指示しようとする位置を含む所定範囲を該ポインティング装置が有する撮影手段によって撮影して、その所定範囲に対応する撮影画像情報を前記情報処理装置側に出力し、前記情報処理装置側では、前記ポインティング装置から前記撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果から前記ポインティング装置が指示しようとする位置を指示座標として特定したのち、前記表示画像情報上の該特定された指示座標にポインタマークを合成して表示することを特徴としている。
【００２５】
（１４）指示位置を絶対座標として取得する情報表示システムにおける本発明のポインタマーク表示方法は、情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムにおけるポインタマーク表示方法であって、前記ポインティング装置は、前記表示画像上で指示しようとする位置を含む所定範囲を該ポインティング装置の有する撮影手段によって撮影して、その所定範囲に対応する撮影画像情報を得て、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定して、その判定結果から該ポインティング装置が指示しようとする位置を指示座標として特定し、その特定した指示座標に対する指示座標情報を前記情報処理装置側に出力し、前記情報処理装置側では、前記ポインティング装置から渡された指示座標情報に対応する指示座標にポインタマークを合成して表示するといった処理を行うものであってもよい。
【００２６】
（１５）前記（１３）または（１４）に記載の情報表示システムにおけるポインタマーク表示方法において、前記撮影する所定範囲は、前記撮影手段の有する視準手段で設定される撮影可能範囲であって、その視準手段で設定された撮影可能範囲の中央部を前記ポインティング装置で指示しようとする位置とし、その位置の座標を指示座標として取得することが好ましい。
【００２７】
（１６）前記（１３）から（１５）のいずれかに記載の情報表示システムにおけるポインタマーク表示方法において、前記撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかの判定は、前記撮影画像情報からテンプレート画像情報を生成し、そのテンプレート画像情報と撮影時点での表示画像に対応する表示画像情報とのパターンマッチングによって行うことが好ましい。
【００２８】
（１７）指示位置を相対座標として取得する本発明の情報表示システムは、情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、前記ポインティング装置は、該ポインティング装置で撮影しようとする任意の範囲を撮影してその範囲に対応する撮影画像情報を出力可能な撮影手段と、この撮影手段による撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点よりも時間的に前の撮影画像情報と前記現時点での撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段とを有し、前記情報処理装置は、前記表示画像に対応する表示画像情報を記憶する表示画像情報記憶手段と、前記表示画像情報上において現時点で表示されているポインタマークを、前記ポインティング装置で算出された前記指示座標移動ベクトルに対応する分だけ離れた位置で該表示画像に合成して表示する表示画像情報生成手段とを有することを特徴としている。
【００２９】
（１８）また、指示位置を相対座標として取得する本発明の情報表示システムとしては、情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、前記ポインティング装置は、ある任意の範囲を撮影してその範囲に対応する撮影画像情報を出力可能な撮影手段を有し、前記情報処理装置は、前記ポインティング装置の撮影手段の撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点よりも時間的に前の撮影画像情報と前記ポインティング装置の撮影手段から得られた現時点での撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段と、前記表示画像に対応する表示画像情報を記憶する表示画像情報記憶手段と、前記表示画像情報上において現時点で表示されているポインタマークを、前記指示座標移動ベクトル算出手段で算出された前記指示座標移動ベクトルに対応する分だけ離れた位置で該表示画像に合成して表示する表示画像情報生成手段とを有する構成であってもよい。
【００３０】
（１９）また、指示位置を相対座標として取得する本発明の情報表示システムとしては、情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、前記ポインティング装置は、該ポインティング装置で撮影しようとする任意の範囲を撮影してその範囲に対応する撮影画像情報を出力可能な撮影手段と、この撮影手段による撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点よりも時間的に前の撮影画像情報を記憶する撮影画像情報記憶手段と、この撮影画像情報記憶手段に記憶された撮影画像情報と前記現時点での撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段とを有し、前記情報処理装置は、表示画像に対応する表示画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、その表示画像情報上において現時点で表示されているポインタマークを、前記ポインティング装置で算出された前記指示座標移動ベクトルに対応する分だけ離れた位置で前記表示画像情報に合成して表示する表示画像情報生成手段とを有する構成であってもよい。
【００３１】
（２０）また、指示位置を相対座標として取得する本発明の情報表示システムとしては、情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、前記ポインティング装置は、ある任意の範囲を撮影してその範囲に対応する撮影画像情報を出力可能な撮影手段を有し、前記情報処理装置は、前記ポインティング装置の撮影手段の撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点よりも時間的に前の撮影画像情報を記憶する撮影画像情報記憶手段と、この撮影画像情報記憶手段に記憶された撮影画像情報と前記ポインティング装置の撮影手段から得られた現時点での撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段と、表示画像に対応する表示画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、その表示画像情報上において現時点で表示されているポインタマークを、前記指示座標移動ベクトル算出手段で算出された前記指示座標移動ベクトルに対応する分だけ離れた位置で前記表示画像情報に合成して表示する表示画像情報生成手段とを有する構成であってもよい。
【００３２】
（２１）前記（１７）から（２０）のいずれかに記載の情報表示システムにおいて、前記現時点よりも時間的に前の撮影画像情報と現時点での撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する処理は、前記現時点での撮影画像情報から生成されたテンプレート画像情報と前記現時点よりも時間的に前の撮影画像情報とのパターンマッチングを行うことによって、前記現時点での撮影画像情報が前記現時点よりも時間的に前の撮影画像情報のどの部分に対応するのかを判定して、その判定結果に基づき、前記現時点での撮影画像情報の移動量と移動方向を求め、求められた移動量と移動方向から指示座標移動ベクトルを算出することが好ましい。
【００３３】
（２２）前記（１７）から（２１）のいずれかに記載の情報表示システムにおいて、前記ポインティング装置は、撮影機能と通信機能を有した携帯用情報端末機器であることが好ましい。
【００３４】
（２３）前記（１７）から（２２）のいずれかに記載の情報表示システムにおいて、前記ポインティング装置はコマンド入力手段を有し、前記情報処理装置は前記ポインティング装置からのコマンドを受け付けてそれを処理するコマンド処理手段を有し、該情報処理装置では前記指示座標が特定されたあと、前記コマンド入力手段からコマンドが与えられると、そのコマンド処理を行ってその処理結果を前記指示座標上に反映させることが好ましい。
【００３５】
（２４）指示位置を相対座標として取得する情報表示システムに用いられる本発明のポインティング装置は、前記（１７）または(１９)記載の情報表示システムに用いられるポインティング装置であって、該ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出して、その指示座標移動ベクトルを前記情報処理装置に出力する機能を有することを特徴としている。
【００３６】
（２５）指示位置を相対座標として取得する情報表示システムに用いられる本発明の情報処理装置は、前記（１８）または（２０）記載の情報表示システムに用いられる情報処理装置であって、前記ポインティング装置が有する撮影手段の撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出し、前記表示画像上において現時点で表示されているポインタマークを、前記算出された指示座標移動ベクトルに対応する分だけ離れた位置で前記表示画像情報に合成して表示する機能を有することを特徴としている。
【００３７】
（２６）指示位置を相対座標として取得する情報表示システムに用いられる本発明のポインティング装置のデータ処理プログラムは、前記（２４）記載のポインティング装置が行うデータ処理手順の記述されたポインティング装置のデータ処理プログラムであって、該ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する手順と、その指示座標移動ベクトルを前記情報処理装置に出力する出手順とを含むことを特徴としている。
【００３８】
（２７）指示位置を相対座標として取得する情報表示システムに用いられる本発明の情報処理装置のデータ処理プログラムは、前記（２５）記載の情報処理装置が行うデータ処理手順の記述された情報処理装置のデータ処理プログラムであって、前記ポインティング装置が有する撮影手段の撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する手順と、前記表示画像上において現時点で表示されているポインタマークを、前記算出された指示座標移動ベクトルに対応する分だけ離れた位置で前記表示画像情報に合成して表示する手順とを含むことを特徴としている。
【００３９】
（２８）指示位置を相対座標として取得する場合の本発明の情報表示システムにおけるポインタマーク表示方法は、情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムにおけるポインタマーク表示方法であって、前記ポインティング装置は、該ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出して、その指示座標移動ベクトルを前記情報処理装置に出力し、前記情報処理装置側では、前記表示画像上において現時点で表示されているポインタマークを、前記ポインティング装置で算出された前記指示座標移動ベクトルに対応する分だけ離れた位置で前記表示画像情報に合成して表示することを特徴としている。
【００４０】
（２９）指示位置を相対座標として取得する場合の本発明の情報表示システムにおけるポインタマーク表示方法は、情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムにおけるポインタマーク表示方法であって、前記ポインティング装置は、このポインティング装置が有する撮影手段によって任意範囲を撮影し、前記情報処理装置側では、前記ポインティング装置が有する撮影手段の撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出し、前記表示画像上において現時点で表示されているポインタマークを、前記算出された指示座標移動ベクトルに対応する分だけ離れた位置で前記表示画像情報に合成して表示するといった処理を行うものであってもよい。
【００４１】
（３０）前記（２８）または（２９）に記載の情報表示システムにおけるポインタマーク表示方法において、前記現時点よりも時間的に前の影画像情報と現時点での撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する処理は、前記現時点での撮影画像情報から生成されたテンプレート画像情報と前記現時点よりも時間的に前の撮影画像情報とのパターンマッチングを行うことによって、前記現時点での撮影画像情報が前記現時点よりも時間的に前の撮影画像情報のどの部分に対応するのかを判定して、その判定結果に基づき、前記現時点での撮影画像情報の移動量と移動方向を求め、求められた移動量と移動方向から指示座標移動ベクトルを算出することが好ましい。
【００４２】
（３１）指示位置を絶対座標として取得する情報表示システムと指示位置を相対座標として取得する情報表示システムを組み合わせてなる本発明の情報表示システムは、情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、前記ポインティング装置は、該ポインティング装置で撮影しようとする任意の範囲を撮影してその範囲に対応する撮影画像情報を出力可能な撮影手段と、該撮影手段による撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点よりも時間的に前の撮影画像情報と前記現時点での撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段とを有し、前記情報処理装置は、表示画像に対応する表示画像情報を記憶する表示画像情報記憶手段と、前記表示画像情報と前記ポインティング装置からの撮影画像情報と指示座標移動ベクトルとに基づいて、ポインタマークの移動後の仮の指示位置を求め、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定する指示座標特定手段と、前記表示画像情報上の前記特定された指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有することを特徴としている。
【００４３】
（３２）また、指示位置を絶対座標として取得する情報表示システムと指示位置を相対座標として取得する情報表示システムを組み合わせてなる本発明の情報表示システムとしては、情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、前記ポインティング装置は、該ポインティング装置で撮影しようとする任意の範囲を撮影してその範囲に対応する撮影画像情報を出力可能な撮影手段を有し、前記情報処理装置は、前記ポインティング装置の撮影手段で得られる撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点よりも時間的に前の撮影画像情報と前記現時点の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段と、表示画像に対応する表示画像情報を記憶する表示画像情報記憶手段と、前記表示画像情報と前記算出された指示座標移動ベクトルと前記ポインティング装置からの撮影画像情報とに基づいて、ポインタマークの移動後の仮の指示位置を求め、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定する指示座標特定手段と、前記表示画像情報上の前記特定された指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有する構成であってもよい。
【００４４】
（３３）また、指示位置を絶対座標として取得する情報表示システムと指示位置を相対座標として取得する情報表示システムを組み合わせてなる本発明の情報表示システムとしては、情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムであって、前記ポインティング装置は、該ポインティング装置で撮影しようとする任意の範囲を撮影してその範囲に対応する撮影画像情報を出力可能な撮影手段と、該撮影手段による撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点よりも時間的に前の撮影画像情報と前記現時点での撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段と、前記撮影画像情報と前記指示座標移動ベクトルと表示画像情報とに基づいて、ポインタマークの移動後の仮の指示位置を求め、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定する指示座標特定手段とを有し、前記情報処理装置は、表示画像に対応する表示画像情報を記憶する表示画像情報記憶手段と、前記表示画像情報上の前記特定された指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有する構成であってもよい。
【００４５】
（３４）前記（３１）から（３３）のいずれかの情報表示システムにおいて、前記指示座標特定手段が行う指示座標特定処理は、前記仮の指示位置を基準に所定範囲を設定し、この所定範囲内で前記撮影画像と撮影時点での表示画像情報とのパターンマッチングを行うことによって、それぞれの位置における相関を計算し、計算された相関に基づいて、前記移動後の指示座標を特定することが可能である。
【００４６】
なお、（３１）、（３２）、（３３）、（３４）のそれぞれの情報表示システムにおいても、前述の（５）、（６）、（７）、（８）、（２１）に記載された内容を適用することができる。
【００４７】
（３５）指示位置を絶対座標として取得する情報表示システムと指示位置を相対座標として取得する情報表示システムを組み合わせてなる本発明の情報表示システムに用いられる本発明の情報処理装置は、前記（３１）に記載の情報表示システムに用いられる情報処理装置であって、前記表示画像情報記憶手段に記憶されている表示画像情報と前記ポインティング装置からの前記撮影画像情報と前記指示座標移動ベクトルとに基づいて、ポインタマークの移動後の仮の指示位置を求め、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定し、この特定された指示座標にポインタマークを合成して表示する機能を有することを特徴としている。
【００４８】
（３６）指示位置を絶対座標として取得する情報表示システムと指示位置を相対座標として取得する情報表示システムを組み合わせてなる本発明の情報表示システムに用いられる本発明のポインティング装置は、前記（３１）に記載の情報表示システムに用いられるポインティング装置であって、該ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出して、その指示座標移動ベクトルを前記情報処理装置に出力する機能を有することを特徴としている。
【００４９】
（３７）指示位置を絶対座標として取得する情報表示システムと指示位置を相対座標として取得する情報表示システムを組み合わせてなる本発明の情報表示システムに用いられる本発明の情報処理装置は、前記（３２）に記載の情報表示システムに用いられる情報処理装置であって、前記ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出し、この算出された移動座標ベクトルと前記撮影画像情報と前記表示画像情報とに基づいて、ポインタマークの移動後の仮の指示位置として求め、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定し、その特定された指示座標にポインタマークを合成して表示する機能を有することを特徴としている。
【００５０】
（３８）指示位置を絶対座標として取得する情報表示システムと指示位置を相対座標として取得する情報表示システムを組み合わせてなる本発明の情報表示システムに用いられる本発明のポインティング装置は、前記（３３）記載の情報表示システムに用いられるポインティング装置であって、該ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出して、その指示座標移動ベクトルと撮影時点の撮影画像情報と表示画像情報とに基づいて、ポインタマークの移動後の仮の指示位置を求め、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定する機能を有することを特徴としている。
【００５１】
（３９）指示位置を絶対座標として取得する情報表示システムと指示位置を相対座標として取得する情報表示システムを組み合わせてなる本発明の情報表示システムに用いられる本発明の情報処理装置のデータ処理プログラムは、前記（３５）記載の情報処理装置が行うデータ処理手順の記述された情報処理装置のデータ処理プログラムであって、前記表示画像情報記憶手段に記憶されている表示画像情報と前記ポインティング装置からの前記撮影画像情報と前記指示座標移動ベクトルとに基づいて、ポインタマークの移動後の仮の指示位置を求める手順と、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定する手順と、この特定された指示座標にポインタマークを合成して表示する手順とを含むことを特徴としている。
【００５２】
（４０）指示位置を絶対座標として取得する情報表示システムと指示位置を相対座標として取得する情報表示システムを組み合わせてなる本発明の情報表示システムに用いられる本発明のポインティング装置のデータ処理プログラムは、前記（３６）記載のポインティング装置が行うデータ処理手順の記述されたポインティング装置のデータ処理プログラムであって、該ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する手順と、その指示座標移動ベクトルを前記情報処理装置に出力する手順とを含むことを特徴としている。
【００５３】
（４１）指示位置を絶対座標として取得する情報表示システムと指示位置を相対座標として取得する情報表示システムを組み合わせてなる本発明の情報表示システムに用いられる本発明の情報処理装置のデータ処理プログラムは、前記（３７）記載の情報処理装置が行うデータ処理手順の記述された情報処理装置のデータ処理プログラムであって、前記ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する手順と、この算出された移動座標ベクトルと前記撮影画像情報と前記表示画像情報とに基づいて、ポインタマークの移動後の仮の指示位置として求める手順と、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定する手順と、その特定された指示座標にポインタマークを合成して表示する手順とを含むことを特徴としている。
【００５４】
（４２）指示位置を絶対座標として取得する情報表示システムと指示位置を相対座標として取得する情報表示システムを組み合わせてなる本発明の情報表示システムに用いられる本発明のポインティング装置のデータ処理プログラムは、前記（３８）記載のポインティング装置が行うデータ処理手順の記述されたポインティング装置のデータ処理プログラムであって、該ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する手順と、その指示座標移動ベクトルと撮影時点の撮影画像情報と表示画像情報とに基づいて、ポインタマークの移動後の仮の指示位置を求める手順と、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定する手順とを含むことを特徴としている。
【００５５】
（４３）指示位置を絶対座標として取得する情報表示システムと指示位置を相対座標として取得する情報表示システムを組み合わせてなる本発明の情報表示システムにおけるポインタマーク表示方法は、情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムにおけるポインタマーク表示方法であって、前記ポインティング装置は、該ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出して、その指示座標移動ベクトルを前記情報処理装置に出力し、前記情報処理装置は、前記ポインティング装置からの前記撮影画像情報と前記指示座標移動ベクトルと表示画像情報とに基づいて、ポインタマークの移動後の仮の指示位置を求め、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定し、前記表示画像に対応する表示画像情報上の前記特定された指示座標にポインタマークを合成して表示することを特徴としている。
【００５６】
（４４）指示位置を絶対座標として取得する情報表示システムと指示位置を相対座標として取得する情報表示システムを組み合わせてなる本発明の情報表示システムにおけるポインタマーク表示方法は、情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムにおけるポインタマーク表示方法であって、前記ポインティング装置は、該ポインティング装置が有する撮影手段によって任意範囲を撮影し、前記情報処理装置は、前記ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出し、この算出された移動座標ベクトルと前記撮影画像情報と表示画像情報に基づいて、ポインタマークの移動後の仮の指示位置を求め、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定し、前記表示画像に対応する表示画像情報上の前記特定された指示座標にポインタマークを合成して表示するといった処理をおこなうものであってもよい。
【００５７】
（４５）指示位置を絶対座標として取得する情報表示システムと指示位置を相対座標として取得する情報表示システムを組み合わせてなる本発明の情報表示システムにおけるポインタマーク表示方法は、情報処理装置と、該情報処理装置に保持された情報を表示面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示するポインティング装置とを有する情報表示システムにおけるポインタマーク表示方法であって、前記ポインティング装置は、該ポインティング装置が有する撮影手段によって任意の範囲を、その撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点での撮影画像情報とそれよりも時間的に前の撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出して、その指示座標移動ベクトルと表示画像に対応する表示画像情報に基づいて、ポインタマークの移動後の仮の指示位置を求め、その仮の指示位置を含む所定範囲内でポインタマークの移動後の指示位置を指示座標として特定し、前記情報処理装置は、前記表示画像情報上の前記特定された指示座標にポインタマークを合成して表示するといった処理を行うものであってもよい。
【００５８】
（４６）前記（４３）から（４５）のいずれかの情報表示システムにおけるポインタマーク表示方法において、前記指示座標特定処理は、前記仮の指示位置を基準に所定範囲を設定し、この所定範囲内で前記撮影画像と撮影時点での表示画像情報とのパターンマッチングを行うことによって、それぞれの位置における相関を計算し、計算された相関に基づいて、前記移動後の指示座標を特定するが可能である。
【００５９】
なお、（４３）、（４４）、（４５）のそれぞれの情報表示システムにおける本タマーク表示方法においても、前述の（１５）、（１６）、（３０）に記載された内容を適用することができる。
【００６０】
以上のように本発明は、大別すると、指示位置を絶対座標として取得し、その取得した座標位置にポインタマーク表示を行う発明と、指示位置を相対座標として取得し、その取得した座標位置にポインタマーク表示を行う発明、さらに、両者を組み合わせた発明がなされている。
【００６１】
絶対座標として取得した座標位置にポインタマーク表示を行う発明は、撮影機能と通信機能を併せ持つ携帯用情報端末機器をポインティング装置として用い、そのポインティング装置によって指示しようとする表示画像上の位置を含む所定範囲を撮影して、その所定範囲に対応する撮影画像情報を情報処理装置としてのパーソナルコンピュータ（以下ではＰＣという）などに出力する。そして、その撮影画像情報を受け取ったＰＣでは、その撮影画像情報が現在の表示画像に対応する表示画像情報のどの範囲に対応するかを判定し、その判定結果からポインティング装置で指示した位置の座標を指示座標として特定し、この特定された指示座標にポインタマークを合成して表示するようにしている。
【００６２】
このように、本発明では、表示画像上に特徴的な形状やマーカなどを特別に設けたり、特徴的な画像を同時に撮影するといったことをする必要がなく、単に、指示位置を含むように撮影すればよい。
【００６３】
また、撮影手段で指示位置を撮影することによって指示座標を特定して、その位置にＰＣ側で生成したポインタマークを表示させるようにしているので、レーザポインタなどを用いて指示位置を指示するのと異なり、表示されたポインタマークに“ぶれ”が生じるのを防ぐことができる。つまり、レーザポインタなどを用いて指示者が指示すると、指示位置に照射された光点が、手ぶれなどによってぶれることが多いが、本発明では、ＰＣ側あるいはポインティング装置でぶれ補正処理を行うことによりそれをなくすことができる。
【００６４】
また、視準手段（撮影手段のファインダやディスプレイなど）で設定される撮影可能範囲の中央部をポインティングの指示位置とすることによって、指示位置の設定を容易かつ正確に行うことができる。
【００６５】
また、ポインティング装置によって撮影された所定範囲の撮影画像情報からテンプレート画像を生成し、そのテンプレート画像情報と表示画像情報とのパターンマッチングを行うことによって、撮影画像が表示画像全体のどの部分に対応するのかを判定し、その判定結果を用いて指示位置を特定するようにしているので、指示位置を高精度に特定することができる。
【００６６】
また、このような指示位置を絶対座標として取得するシステムにおいて、指示座標特定は、上述したように、情報処理装置（ＰＣ）側で行うこともできるが、ポインティング装置側で行うこともできる。この場合、指示座標特定手段はポインティング装置が持つ。
【００６７】
指示座標特定手段を情報処理装置（ＰＣ）側で行う利点は、ポインティング装置では、撮影画像情報を単に情報処理装置に送信するだけであり、ポインティング装置での演算量を少なくすることができる。また、ポインティング装置側に、指示座標特定に必要な（たとえば画像処理用の）ハードウエアやソフトウエアを搭載する必要がない。したがって、ポインティング装置として、一般的な携帯情報機器を用いることができる。また、ポインティング装置よりもＰＣの方が一般的に処理能力が高いので、より高速に座標特定などの処理が行え、複雑な画像処理演算も容易かつ高速に行うことができ、高精度な座標特定が可能となる。
【００６８】
一方、指示座標特定手段をポインティング装置側で行う利点は、ＰＣ側から見てポインティング装置を単なるデバイスとしてみなすことができる。すなわち、そのデバイス（ポインティング装置）に対して表示画像情報を送信しさえすれば、デバイスからは絶対座標情報が送信されてくるので、ＰＣ側では特に複雑な処理を行う必要が無く、画像処理のための複雑なハードウエアやソフトウエアを搭載する必要がなくなり、かつ、ＰＣ側の演算量を削減できる。
【００６９】
また、指示位置を相対座標として取得して、その取得した座標位置にポインタマーク表示を行う発明においては、現時点での撮影画像情報とそれよりも時間的に前のフレームの撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出して、その指示座標移動ベクトルをＰＣに出力し、該ＰＣでは、現時点で表示されている表示画像上において現時点で表示されているポインタマークを、ポインティング装置で算出された指示座標移動ベクトルに対応する分だけ離れた位置で現時点で表示されている表示画像に対応する表示画像情報に合成して表示するようにしている。
【００７０】
この指示位置を相対座標として取得する場合は、ポインティング装置による撮影対象は表示画像でなくてもよいので、撮影場所の制約が少なく、広いプレゼンテーション会場などで多くの人によってポインティングを行うような場合に使い勝手のよいものとなる。また、ポインティング装置をＰＣのマウスの感覚で使うことができるので、ポインティング操作がやり易いことも特徴の１つである。
【００７１】
また、指示位置を相対座標として取得する場合は、相対座標を求めるための指示座標移動ベクトル算出に必要な情報として、ＰＣ側に保存されている表示画像情報を必要としないので、指示座標移動ベクトル算出の演算はポインティング装置側だけで行うことができる。
【００７２】
このように、指示座標移動ベクトル算出を行う際に、表示画像情報を必要としないということは、表示画像情報をポインティング装置側にロードするといった処理を行う必要がなく、また、ポインティング装置で算出された指示座標移動ベクトル情報だけを情報処理装置側に送信すればよいので、ポインティング装置とＰＣとの間で、情報量の多い画像情報の授受の必要がなくなり、両者間の通信負荷を軽くすることができる。
【００７３】
また、撮影手段を用いて指示座標移動ベクトルを求めて、ＰＣ側で生成したポインタマークを表示させるようにしているので、レーザポインタを用いて指示位置を指示するのと異なり、表示されたポインタマークに“ぶれ”が生じるのを防ぐことができる。つまり、レーザポインタなどを用いて指示者が指示すると、手ぶれなどによって指示位置に照射された光点に“ぶれ”が生じることが多いが、本発明では、ＰＣ側あるいはポインティング装置でぶれ補正処理を行うことにそれをなくすことができる。
【００７４】
また、このような指示位置を相対座標として取得するシステムにおいて、指示座標移動ベクトル算出は、上述したように、ポインティング装置側で行うこともできるが、情報処理装置（ＰＣ）側で行うこともできる。なお、指示座標移動ベクトル算出をＰＣ側で行う場合は、指示座標移動ベクトル算出手段と撮影画像情報記憶手段をＰＣ側が持つ。
【００７５】
指示座標移動ベクトル算出をポインティング装置側で行う利点は、上述したように、ポインティング装置で算出された指示座標移動ベクトル情報だけをＰＣ側に送信すればよいので、ポインティング装置とＰＣとの間で、情報量の多い画像情報の授受の必要がなくなり、両者間の通信負荷を軽くすることができるといった利点の他に、ＰＣ側から見てポインティング装置を単なるデバイスとしてみなすことができる。すなわち、そのデバイス（ポインティング装置）からＰＣに対して単に相対座標情報が送信されてくるので、ＰＣ側では特に複雑な処理を行う必要が無く、画像処理のための複雑なハードウエアやソフトウエアを搭載する必要がなくなり、かつ、ＰＣ側の演算量を削減できる。
【００７６】
一方、指示座標移動ベクトル算出を情報処理装置（ＰＣ）側で行う利点は、ポインティング装置では、撮影画像情報を単に情報処理装置に送信するだけであり、ポインティング装置での演算量を少なくすることができる。また、ポインティング装置側に、指示座標移動ベクトルを算出するのに必要なハードウエアやソフトウエアを搭載する必要がない。したがって、ポインティング装置として、一般的な携帯情報機器を用いることができる。また、ポインティング装置よりもＰＣの方が一般的に処理能力が高いので、より高速に指示座標移動ベクトル算出処理が行え、高精度な指示座標移動ベクトルの算出が可能となる。
【００７７】
また、上述のそれぞれに発明において用いるポインティング装置としては、撮影機能と通信機能を有した携帯用情報端末機器として、カメラ付きの携帯電話機、ディジタルスチルカメラ、ディジタルビデオカメラなどを用いることができるが、その中でも、カメラ付きの携帯情報機器（特に携帯電話機）を用いることで、より使い勝手のよいものとなる。すなわち、カメラ付きの携帯電話機は広く普及し、もともとネットワークを介した通信機能を有し、また、文字入力インタフェースを備え、片手で操作できるといった機能性や操作性の面で優れたものであるので、より使い勝手のよいものとなる。
【００７８】
また、最近では、この種の携帯電話機には任意のアプリケーションをインストール可能なものもあるので、そのような携帯電話機の場合、ポインティング・アプリケーションをインストールするだけで対応可能となり、ハードウエアを改造したり本発明を実現するために新規にハードウエアを作成する必要がないことも大きな特徴である。
【００７９】
また、絶対座標による指示座標の取得と相対座標による指示座標の取得を組み合わせた発明、すなわち、上述の（３１）から（４６）の発明は、具体的には、ポインティング装置の移動によって求められる相対座標移動ベクトル情報を用いて、テンプレート画像に対する表示画像のパターンマッチンを行うべき領域の絞込みを行い、その絞り込まれた領域について、撮像手段で撮像された最新の撮影画像（テンプレート画像）とのパターンマッチングを行うようにするものである。
【００８０】
これによって、相対座標による指示位置の特定処理によって得られた指示位置を仮の指示位置として、その周辺に所定のパターンマッチング領域を設定し、そのパターンマッチング領域内のパターンマッチングを行えばよいことから、表示画像全域をパターンマッチング対象とする場合に比べて、パターンマッチングに要する演算量を大幅に削減することができ、高速でかつ高精度な指示位置の特定を行うことができる。
【００８１】
また、指示座標移ベクトル算出処理は、（３１）の発明ではポインティング装置側で行うようにしているが、この指示座標移動ベクトル算出処理は情報処理装置側で行うこともできる。これは、（３２）の発明であり、この場合、情報処理装置側に指示座標移動ベクトル算出手段を設け、ポインティング装置からの撮影画像情報を情報処理装置側の指示座標移動ベクトル算出手段に送って、情報処理装置側で指示座標移動ベクトルを算出する。その指示座標移動ベクトル算出処理は上述したと同様の手順で行うことができる。
【００８２】
そして、指示座標特定手段はポインティング装置側の撮影手段からの撮影画像情報と自身の指示座標移動ベクトル算出手段で算出された指示座標移動ベクトルと、表示画像情報記憶手段に記憶されている撮影時点での表示画像を用いて指示座標の特定を行う。
【００８３】
このように、指示座標移動ベクトル算出を情報処理装置側で行う利点は、ポインティング装置では、撮影画像情報を単に情報処理装置に送信するだけであり、ポインティング装置での演算量を少なくすることができる。また、ポインティング装置側に、指示座標移動ベクトルを算出するに必要なハードウエアやソフトウエアを搭載する必要がない。したがって、ポインティング装置として、一般的な携帯情報機器を用いることができる。また、ポインティング装置よりも情報処理装置の方が一般的に処理能力が高いので、より高速に指示座標移動ベクトル算出処理が行えるほか、複雑な画像処理演算も容易かつ高速にできるため、高精度な指示座標移動ベクトルの算出が可能となる。
【００８４】
さらに、（３２）の発明は指示座標特定手段をポインティング装置側に設けるようにして、ポインティング装置側で指示座標特定処理までを行うようにしたものであり、この場合、ポインティング装置側に存在する指示座標特定手段は、撮影手段からの撮影画像と指示座標移動ベクトル算出手段によって算出された指示座標移動ベクトルを用い、さらに、情報処理装置側からの表示画像を取得して、指示座標特定処理を行い、それによって特定された指示座標を情報処理装置側へ送るようにする。
【００８５】
このように、指示座標特定手段をポインティング装置側に設けて、ポインティング装置側で指示座標特定処理までを行う利点は、ＰＣ１側から見てポインティング装置を単なるデバイスとしてみなすことができる。すなわち、そのデバイス（ポインティング装置）に対して表示画像情報を送信しさえすれば、デバイスからは絶対座標情報が送信されてくるので、情報処理装置側では特に複雑な処理を行う必要が無く、画像処理のための複雑なハードウエアやソフトウエアを搭載する必要がなくなり、かつ、情報処理装置側の演算量を削減できる。
【００８６】
また、前記（３１）から（３３）のいずれかの情報表示システムおよび前記（４３）から（４５）のいずれかの情報表示システムにおけるポインタマーク表示方法において、指示座標特定処理は、前記撮影画像を前記推測された位置を基点に該撮影画像の撮影時点での表示画像上の所定範囲内を所定の経路に沿ってずらしながら該撮影画像と前記表示画像とのパターンマッチングを行うことによって、それぞれの位置における相関を計算し、計算された相関に基づいて指示座標の特定を行うようにしている。これによって、指示座標の特定を効率よく、かつ、高精度に行うことができる。
【００８７】
また、上述したそれぞれの発明において、ポインティング装置側にはコマンド入力手段を設け、ＰＣ側にはポインティング装置からのコマンドを受け付けてそれを処理するコマンド処理手段を設けることによって、ポインティング装置のコマンド入力手段からコマンドが発せられると、ＰＣ側ではそのコマンドを受け取って、コマンド処理を行いその処理結果を前記ポインティング装置での指示座標上に反映させることができる。
【００８８】
たとえば、指示者はポインティング装置によって表示画像上の任意の位置を指示したあと、その指示位置に文字を入力させたり、表示内容を修正したりすることも可能となり、単に、ポインティング位置を指示するだけでなく、表示内容の編集・修正操作も可能となる。すなわち、これはコンピュータの遠隔操作をも可能とするということである。
【発明を実施するための最良の形態】
【００８９】
以下、本発明の実施形態について説明する。この実施形態では、画像表示装置としてはプロジェクタを用いるものとし、このプロジェクタを情報処理装置としてのＰＣに接続して、該ＰＣ上のデータをプロジェクタによって壁面やスクリーン上に投影し、その投影された画像に対してポインティング装置で任意の位置を指定し、その指定された位置の座標情報を取得してその座標上にポインタマークを表示する例について説明する。
【００９０】
また、ポインティング装置としては、画像を撮影して撮影する撮影機能とそれによって得られた画像情報をネットワークやＰＣに送信可能な通信機能を有する携帯用情報端末機器（たとえば、カメラ付き携帯電話機、通信機能を有したディジタルスチルカメラ、通信機能を有したディジタルビデオカメラなど）を用いるものとする。
【００９１】
なお、本発明は、指示位置を絶対座標として取得することも可能であり、また、相対座標として取得することも可能であるので、指示位置を絶対座標として取得する例を実施形態１、指示位置を相対座標として取得する例を実施形態２、両者を組み合わせて指示座標を特定する例を実施形態３として説明し、さらに、指示した座標位置上でのコマンド入力を可能とし、入力されたコマンドをＰＣ上で実行し、その実行結果を該取得された座標位置で反映させる処理についてを実施形態４として説明する。
【００９２】
〔実施形態１〕
図１はこの実施形態１を説明するに必要な構成要素を示す図であり、その構成要素を大きく分けると、情報処理装置としてのＰＣ１、このＰＣ１から出力される情報を表示する情報表示装置２、この情報表示装置で表示された画像上の任意の位置を指示するポインティング装置３からなる。
【００９３】
なお、ポインティング装置３としては、上述したように、撮影機能と通信機能を有した携帯用情報端末（カメラ付き携帯電話機、通信機能を有したディジタルスチルカメラ、通信機能を有したディジタルビデオカメラなど）を用いるものとする。
【００９４】
ＰＣ１は、表示すべき画像の画像情報を記憶する表示画像情報記憶手段１１、現時点において表示すべき画像情報を生成するとともにポインタマークを表示画像上の指示された座標位置に合成する機能を有する表示画像情報生成手段１２、ポインティング装置３で指示された座標（ポインタマークを表示すべき座標）を特定する指示座標特定手段１３を有している。
【００９５】
また、情報表示装置２は、画像情報を投影するプロジェクタ２１と、画像情報が投影されるスクリーン２２から構成されている。
【００９６】
また、ポインティング装置３は、上述した撮影機能を有した携帯用情報端末が通常持っているファインダやディスプレイ画面などの視準手段３１と、この視準手段３１で設定された所定範囲の画像を撮影する撮影手段３２を有している。なお、このポインティング装置３からの情報は、無線ＬＡＮ、赤外線通信、電話回線を利用したネットワークなど何らかの通信手段によってＰＣ１に送信できるようになっている。
【００９７】
このような構成において、ポインティング装置３で指示した位置にポインタマークを表示させる具体的な動作について説明する。
【００９８】
ＰＣ１の表示画像情報記憶手段１１に記憶されている表示画像情報は、このＰＣ１を操作する操作者の操作によって読み出され、読み出された画像情報は表示画像情報生成手段１２によってプロジェクタ２１で表示処理が可能となるような表示画像情報生成処理がなされたのち、プロジェクタ２１に送られ、プロジェクタ２１によってスクリーン２２（図２参照）などに投影される。
【００９９】
図２はプロジェクタ２１によって投影された表示画像２３上の任意の位置をポインティング装置３（この図２の例ではカメラ付き携帯電話機であるとし、このカメラ付き携帯電話機にも“３”の符号を付す）で指示する例を示すものである。この図２からもわかるように、スクリーン２２上に投影された表示画像２３上の任意の位置Ｐ（図中、黒丸で示されている）を含むようにカメラ付き携帯電話機３で撮影する。
【０１００】
この任意の位置Ｐは、スクリーン２２上に投影された表示画像２３上においてポインティングマークを表示しようとする位置であり、以下、これを指示位置Ｐという。この指示位置Ｐがカメラ付き携帯電話機３の視準手段（この場合はカメラ付き携帯電話機３のディスプレイ画面３１）で設定される撮影可能範囲の中央部となるようにする。なお、表示画像２３上に示されている破線枠ａはこのカメラ付き携帯電話機３のディスプレイ画面３１で設定される撮影可能範囲（一般にはディスプレイ画面の表示範囲）であり、この破線枠ａで囲まれた範囲が１回の撮影で撮影可能な範囲となる。
【０１０１】
このようにして、カメラ付き携帯電話機３の撮影機能を用いて、指示位置Ｐをそのディスプレイ画面３１すなわち撮影可能範囲ａの中央部に位置させた状態で撮影を行うと、その撮影画像情報は通信手段を介してＰＣ１に送信される。これによって、ＰＣ１ではその指示座標特定手段１３によって図３のフローチャートに示すような手順で指示座標特定を行う。
【０１０２】
図３はＰＣ１の指示座標特定手段１３が行う指示座標特定処理手順を示すもので、カメラつき携帯電話機３から送信された撮影画像情報を取得すると（ステップＳ１）、まず、歪や明るさなど各種の補正処理、さらに、拡大／縮小など各種の前処理を行い（ステップＳ２）、その前処理された撮影画像情報からテンプレート画像情報を生成する（ステップＳ３）。このテンプレート画像情報は、ステップＳ２で行われる前処理によって表示画像情報とのマッチングを調べるのに適した解像度となっている。
【０１０３】
そして、そのテンプレート画像情報がスクリーン２２上に表示されている表示画像全体のどの部分に対応するのかを判定する。この判定処理は、そのテンプレート画像情報と表示画像情報記憶手段１１に記憶されている表示画像情報のうち撮影時点で表示されている表示画像に対応する表示画像情報とのパターンマッチングなどの画像認識技術を適用して行う（ステップＳ４）。
【０１０４】
そして、テンプレート画像情報が撮影時点で表示されている表示画像に対応する表示画像情報のどの部分に対応するのかが判定されると、その判定された部分の中央部が指示位置Ｐであるとしてその指示位置Ｐに対応する座標を指示座標として特定する（ステップＳ５）。
【０１０５】
このようにして、指示座標特定手段１３によって指示位置Ｐに対応する指示座標が得られると、その指示座標上にポインタマークＭ（図２参照）を合成して表示する。これによって、スクリーン２２上に投影された表示画像２３上のユーザの指示位置ＰにはＰＣ１上で生成されたポインタマークＭが表示される。
【０１０６】
図４はスクリーン２２上に投影されている表示画像２３上の指示位置ＰにポインタマークＭを表示させる処理手順を説明するフローチャートであり、上述の図３に示す処理によって指示座標が特定されると、その指示座標を取得し（ステップＳ１１）、ポインタマーク画像情報を保持しているポインタマーク画像情報保持部（この例ではポインタマーク画像情報は表示画像情報記憶手段１１に保持されているものとする）からポインタマーク画像情報を読み出す（ステップＳ１２）。
【０１０７】
そして、その読み出されたポインタマーク画像情報が、撮影時点での表示画像に対応する表示画像情報の所定座標（図３によって特定された指示座標）に合成され（ステップＳ１３）、指示座標にポインタマーク情報の合成された表示画像情報が生成される（ステップＳ１４）。
【０１０８】
これによって、スクリーン２２上に投影されている表示画像２３には、カメラ付き携帯電話機３で指示した指示位置ＰにポインタマークＭが表示される。
【０１０９】
このように、スクリーン２２上に投影されている表示画像２３上のある特定位置を指示したい場合、カメラ付き携帯電話機３でその指示したい位置（指示位置Ｐ）がその携帯電話機３の視準手段（ディスプレイ画面）３１の中心に位置するようにして、その部分の画像を撮影するだけで、表示画像の指示位置ＰにポインタマークＭを表示させることができる。
【０１１０】
なお、上述の実施形態では、ポインティング装置３としてカメラ付き携帯電話機を用いた例で説明したが、カメラ付き携帯電話機に限られるものではなく、通信機能を有するディジタルスチルカメラや通信機能を有するディジタルビデオカメラなどでも同様に実施可能であることは勿論である。また、前述の実施形態では、ポインタマーク画像情報は、ＰＣ１の表示画像情報記憶手段１１に保持されている例で説明したが、このポインタマーク画像情報は他の場所（たとえば、ポインティング装置３側）に保持されていてもよく、その保持場所からポインタマーク画像情報を読み出して、それをＰＣ１に転送するようにしてもよい。
【０１１１】
このように、実施形態１においては、ポインティング装置３で指示しようとする位置を含む所定範囲をそのポインティング装置３で撮影すればよく、従来のように、表示画像上に特徴的な形状などを表示するというようなことが不要となる。また、この実施形態１における指示座標の特定は、ポインティング装置３で撮影して得られたテンプレート画像情報と、スクリーン２２上に投影されている表示画像に対応する表示画像情報とのパターンマッチングによって決められるので、指示座標の検出精度が高いことも特徴の１つである。
【０１１２】
なお、この実施形態１では、指示座標特定手段１３はＰＣ１側に設けられ、ＰＣ１側で指示座標特定処理を行う例について説明したが、この指示座標特定手段１３をポインティング装置３側に設けるようにして、ポインティング装置３側で指示座標特定処理を行うようにしてもよい。この場合、ポインティング装置３の指示座標特定手段１３がＰＣ１側の表示画像情報記憶手段１１から撮影時点で表示されている表示画像を読み出して、表示画像に対する指示座標特定処理を行い、それによって特定された指示座標をＰＣ１側（表示画像情報生成手段１２）へ送るようにする。
【０１１３】
このように、指示座標特定処理はＰＣ１側でなく、ポインティング装置３側で行うこともできる。
【０１１４】
なお、すでに述べたが、指示座標特定手段１３をＰＣ１側に設けてＰＣ１側で指示座標特定処理を行う利点は、ポインティング装置３では撮影画像情報を単にＰＣ１に送信するだけであり、ポインティング装置３での演算量を少なくすることができる。また、ポインティング装置３側に、指示座標特定に必要なハードウエアやソフトウエアを搭載する必要がない。したがって、ポインティング装置３として、一般的な携帯情報機器を用いることができる。また、ポインティング装置３よりもＰＣ１の方が一般的に処理能力が高いので、より高速に座標特定などの処理が行え、複雑な画像処理演算も容易かつ高速に行うことができ、高精度な座標特定が可能となる。
【０１１５】
一方、指示座標特定手段１３をポインティング装置３側に設けて、ポインティング装置３側で指示座標特定処理を行う利点は、ＰＣ１側から見てポインティング装置３を単なるデバイスとしてみなすことができる。すなわち、そのデバイス（ポインティング装置３）に対して表示画像情報を送信しさえすれば、デバイスからは絶対座標情報が送信されてくるので、ＰＣ１側では特に複雑な処理を行う必要が無く、画像処理のための複雑なハードウエアやソフトウエアを搭載する必要がなくなり、かつ、ＰＣ１側の演算量を削減できる。
【０１１６】
〔実施形態２〕
この実施形態２は指示位置を相対座標として取得する例である。この実施形態２においても実施形態１と同様、画像表示装置であるプロジェクタ２１をＰＣ１に接続して、該ＰＣ１上のデータをプロジェクタ２１によってスクリーン２２上に投影し、そのスクリーン２２上に投影された表示画像２３に対してポインティング装置３で任意の位置を指定し、その指定された位置にポインタマークＭを表示する例について説明する。
【０１１７】
図５はこの実施形態２を説明するに必要な構成要素を示す図であり、その構成要素を大きく分けると、実施形態１と同様に、ＰＣ１、このＰＣ１に接続されたプロジェクタ２１、プロジェクタ２１で投影された表示画像上の任意の位置を指示するポインティング装置３からなる。なお、ポインティング装置３はこの実施形態２においてもカメラ付き携帯電話機３として説明する。
【０１１８】
この実施形態２においては、ＰＣ１は表示すべき画像の画像データを記憶する表示画像情報記憶手段１１、現時点において表示すべき画像データを生成するともにポインタマークＭを表示画像２３上の指示された位置に合成する機能を有する表示画像情報生成手段１２を有している。
【０１１９】
また、ポインティング装置３は、視準手段（この場合もカメラ付き携帯電話機３のディスプレイ画面）３１と、この視準手段３１で設定される撮影可能範囲の画像を撮影する撮影手段３２と、指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段３３、1フレーム分の撮影画像から得られた特徴画像を記憶するフレームバッファとしての撮影画像情報記憶手段３４を有している。なお、このポインティング装置３からの情報は、無線ＬＡＮ、赤外線通信、電話回線を利用したネットワークなど何らかの通信手段によってＰＣ１に送信可能となっている。
【０１２０】
この実施形態２では指示位置を相対座標として取得する方式であるので、ポインティング装置３を動かした移動方向・移動量（指示座標移動ベクトル）を取得できればよい。このため、カメラ付き携帯電話機３はどこを撮影してもよく、たとえば、図６に示すようにスクリーン２２に投影された表示画像２３から外れた場所を撮影するようにしてもよい。
【０１２１】
次に、この実施形態２の具体的なポインティング動作について説明する。スクリーン２２上にはＰＣ１の表示画像情報記憶手段１１に記憶されている表示画像情報のうちのある表示画像情報がプロジェクタ２１に送られて、その表示画像２３がスクリーン２２上に投影されているものとする。
【０１２２】
この状態で、まず、カメラ付き携帯電話機３の撮影機能を用いて任意の場所（図６に示すように表示画像の外側でもよい）を撮影する。なお、このとき、ポインタマークＭは、その初期位置（これをＰ０とする）として表示画像２３中のたとえば中央部に表示させておくものとする。
【０１２３】
次に、カメラ付き携帯電話機３で次のフレームを撮影し、先に撮影した直前のフレームと比較することで、移動方向・移動量を計算し、指示座標移動ベクトル算出手段３３によって指示座標移動ベクトルを算出する。この指示座標移動ベクトルの算出には、後述するパターンマッチングやＭＰＥＧ（Motion Picture Expert Group）などで用いられる動き検出の技術を応用することができる。
【０１２４】
そして、この算出された指示座標移動ベクトルに基づいて、表示画像２３上に表示されているポインタマークＭを現在位置（この場合、初期位置Ｐ０）から指示座標移動ベクトルの分だけ離れた位置に表示させる。すなわち、図６において、の初期位置Ｐ０にあったポインタマークＭは、算出された指示座標移動ベクトルの分だけ初期位置Ｐ０から離れた位置Ｐ１で表示される。
【０１２５】
図７は上述した指示座標移動ベクトル算出手段３３が行う指示座標移動ベクトル算出処理を説明するフローチャートである。図７において、まず、ポインティング装置３（ここではカメラ付き携帯電話機３）によってある位置を撮影し（ステップＳ２１）、その撮影された画像に対し、歪みや明るさなどの補正処理、さらには、特徴点抽出のための２値化処理などを前処理として行い（ステップＳ２２）、この前処理の終了した撮影画像から特徴点を抽出して特徴画像を取得する（ステップＳ２３）。
【０１２６】
そして、この特徴画像を撮影画像情報記憶手段３４に保持されている１フレーム前の特徴画像と比較し、指示座標移動ベクトルを算出し（ステップＳ２４）、それを指示座標移動ベクトルとして出力（ステップＳ２５）するとともに、上述のステップＳ２３で得られた特徴画像を、新たな１フレーム前の特徴画像として撮影画像情報記憶手段３４に書き込むことで特徴画像の更新を行う（ステップＳ２５）。そして、ポインティング装置（この場合、カメラ付き携帯電話機）３の移動が続いていればステップＳ２１に戻る。
【０１２７】
このようにして、指示座標移動ベクトル算出手段３３によって指示座標移動ベクトルが算出されると、その算出された指示座標移動ベクトルに対応する分だけ離れた位置にポインタマークＭを表示させる。
【０１２８】
なお、カメラ付き携帯電話機３で撮影した撮影画像が、最初の撮影画像であって、1フレーム前の特徴画像が得られていない場合には、その最初の撮影画像によって得られた特徴画像が撮影画像情報記憶手段３４に保存され、２番目以降の撮影操作を待ち、２番目の撮影によって特徴画像が得られると、その特徴画像と特徴画像情報記憶手段に保持されている１フレーム前（最初の撮影画像によって得られた特徴画像）とを比較し、指示座標移動ベクトルを求め、その２番目の撮影によって得られた特徴画像を１フレーム前の特徴画像として撮影画像情報記憶手段３４に書き込むことで記憶内容を更新する。
【０１２９】
上述した図７のフローチャートで説明した処理の具体例を図６および図８を参照しながら説明する。
【０１３０】
まず、カメラ付き携帯電話機３によって、たとえば、図６に示すように、ある位置（ここではスクリーン２２の外側のある位置）を撮影する。なお、その位置にはたまたま「Ａ」という文字が存在していたとする。その「Ａ」という文字がカメラ付き携帯電話機３の視準手段３１（ディスプレイ画面３１）で設定される撮影可能範囲（図示破線枠ａで示す）の中央に位置するようにして撮影し、その撮影画像（これを（ｎ−１）フレームの撮影画像とする）に対して前処理（２値化など）を施し、図８（ａ）のような特徴画像を得たとする。
【０１３１】
次に、カメラ付き携帯電話機３を図６のように斜め左上方向に移動させた位置で同じ「Ａ」という文字を撮影する。このとき、カメラ付き携帯電話機３を図６のように図示の斜め左上方向に移動させているので、「Ａ」という文字はカメラ付き携帯電話機３の視準手段３１（ディスプレイ画面３１）で設定される撮影可能範囲（図示破線枠ａで示す）の中央部から斜め右下方向にずれた位置となり、その位置での撮影画像が得られる（これをｎフレームの撮影画像とする）。このｎフレームの撮影画像に対し、上述同様に前処理を施すことで、図８（ｂ）に示すような特徴画像を得たとする。
【０１３２】
そして、この図８（ｂ）に示す特徴画像と撮影画像情報記憶手段３４に保持されている１フレーム前の特徴画像（この場合、（ｎ−１）フレームの特徴画像）と比較し、指示座標移動ベクトルを算出する。この指示座標移動ベクトル算出処理について説明する。
【０１３３】
まず、（ｎ−１）フレームの特徴画像から、テンプレート画像Ｉｔを作成する。すなわち、図８（ｃ）のような特徴画像（これは図８(a)の特徴画像である）からその中心座標（０，０）を基準とし、その基準となる中心座標（０，０）を中心とするたとえば５画素×５画素の画像（図８(c)における太線枠で示した範囲の画像）を図８（ｄ）のように切り出したものをテンプレート画像Ｉｔとする。
【０１３４】
そして、この図８（ｄ）に示すテンプレート画像Ｉｔと、図８（ｂ）に示すｎフレームの特徴画像をパターンマッチングして、最も高い相関（尤度）が得られるように位置合わせした状態として（図８(e)参照）、その状態におけるテンプレート画像Ｉｔの基準座標（０，０）に対する座標を求めると、（２，−１）の座標が得られる。なお、図８（ｃ）と（ｅ）は、それぞれ同図（ａ），（ｂ）と同じ画像であるが、テンプレート画像Ｉｔの範囲と特徴画像との区別を明確にするために、同図（ａ），（ｂ）の黒色を薄い黒色で表している。
【０１３５】
このように、（ｎ−１）フレームの特徴画像からテンプレート画像Ｉｔを切り出した基準座標と、ｎフレームの特徴画像に対するテンプレート画像Ｉｔのパターンマッチングの結果、最も高い尤度の得られたテンプレート画像Ｉｔの位置におけるテンプレート画像Ｉｔの中心座標として（２，−１）が得られたということは、(ｎ−１)フレームの特徴画像とｎフレームの特徴画像との間では、横方向に−２画素、縦方向に＋１画素のずれがあることを示し、これは、ｎフレームの特徴画像が（ｎ−１）フレームの特徴画像に対して、水平方向に−２移動し、垂直方向にプラス移動したことを示している。これをベクトルとして表現すれば（−２，１）の移動量ということになり、この（−２，１）がこの場合の求めるべき指示座標移動ベクトルである。すなわち、この場合、カメラ付き携帯電話機３の移動によって、図８（ｆ）に示すように、実線で示す枠（テンプレート画像Ｉｔの外周に対応する枠）が破線で示す位置に移動したといえる。
【０１３６】
このようにして、指示座標移動ベクトルが求められると、図６に示すように、スクリーン２２に投影された表示画像２３上のポインタマークＭを現在の指示位置Ｐ０を基点に、算出された指示座標移動ベクトルの分だけ離れた位置Ｐ１に表示させる。
【０１３７】
図９はスクリーン２２上に投影されている表示画像２３上の指示位置Ｐ１にポインタマークＭを合成して表示させる処理手順を説明するフローチャートであり、図４で示した実施形態１における処理に対して、上述の図７で説明した処理手順によって求められた指示座標移動ベクトルと現時点の指示座標とを用いて、ポインタマークＭを表示すべき指示座標を求める処理が加わっている。
【０１３８】
すなわち、指示位置を相対座標として取得する場合は、現在位置からどの方向へどれだけ移動させるかのベクトル量（指示座標移動ベクトル）が求められるだけであるので、まず、現在のポインタマークＭの指示座標と、算出された指示座標移動ベクトルを取得し（ステップＳ３１）、取得された現在の座標位置と指示座標移動ベクトルとから、新たに指示された指示座標を求める（ステップＳ３２）。
【０１３９】
そして、このようにして新たな指示座標が求められると、その指示座標を取得し（ステップＳ３３）、以降は図４のステップＳ１２からＳ１４と同様にして、ポインタマーク画像情報保持部（この例においてもポインタマーク画像情報は表示画像情報記憶手段１１に保持されているものとする）からポインタマーク画像情報を読み出して（ステップＳ３４）、その読み出されたポインタマーク画像情報が、現時点の表示画像に対応する表示画像情報の指示座標（ステップＳ３３で取得された指示座標）に合成され（ステップＳ３５）、指示座標にポインタマークが付加された表示画像情報が生成される（ステップＳ３６）。
【０１４０】
このように、実施形態２では、ポインティング装置３（ここではカメラ付き携帯電話機３としている）を動かした移動方向・移動量（指示座標移動ベクトル）を取得できればよいので、ポインティング装置３側ではスクリーン２２上に投影された表示画像でなく、他の場所を撮影してもよい。すなわち、ポインティング装置３をＰＣなどに接続されたマウスのように使うことができ、使い勝手のよいものとなる。なお、この実施形態２の場合、ポインティング装置３は動画像の取得が可能なものの方がより都合がよいが、静止画のみを入力するカメラであってもよいことは勿論である。
【０１４１】
また、この実施形態２においても、ポインティング装置３としてカメラ付き携帯電話機を用いた例で説明したが、カメラ付き携帯電話機に限られるものではなく、通信機能を有したディジタルスチルカメラや通信機能を有したディジタルビデオカメラなどでも同様に実施可能であることは勿論である。
【０１４２】
また、ポインタマーク画像情報は、ＰＣ１の表示画像情報記憶手段１１に保持されている例で説明したが、実施形態１でも述べたように、このポインタマーク画像情報は他の場所（たとえば、ポインティング装置３側）に保存されていてもよく、その保存場所からポインタマーク画像情報を読み出して、それをＰＣ１に転送するようにすることもできる。
【０１４３】
このように、実施形態２では、ポインティング装置３での撮影対象とする画像はプロジェクタから投影されている表示画像２３でなくてもよいので、撮影範囲の制約を少なくすることができる。これによって、たとえば、広いプレゼンテーション会場などで多くの人によってポインティングを行うような場合に使い勝手のよいものとなる。また、ポインティング装置をＰＣのマウスの感覚で使うことができるので、ポインティング操作がやり易いことも特徴の１つである。
【０１４４】
また、指示位置を相対座標として取得する場合は、相対座標を求めるための指示座標移動ベクトル算出に必要な情報として、ＰＣ１側に保存されている表示画像情報を必要としないので、指示座標移動ベクトル算出の演算はポインティング装置３側だけで行うことができる。
【０１４５】
このように、指示座標移動ベクトル算出を行う際に、表示画像情報を必要としないということは、表示画像情報をポインティング装置３側にロードするといった処理を行う必要がなく、また、ポインティング装置３で算出された指示座標移動ベクトルだけをＰＣ１側に送信すればよいので、ポインティング装置３とＰＣ１との間で、情報量の多い画像情報の授受の必要がなくなり、両者間の通信負荷を軽くすることができる。
【０１４６】
なお、上述の実施形態２では、指示座標移ベクトル算出処理は、ポインティング装置３側で行うようにしているが、この指示座標移動ベクトル算出処理はＰＣ１側で行うこともできる。この場合、ＰＣ１側に指示座標移動ベクトル算出手段３３と撮影画像情報記憶手段３４を設け、ポインティング装置３からの撮影画像情報を指示座標移動ベクトル算出手段３３に送って、指示座標移動ベクトルを算出する。その指示座標移動ベクトル算出処理は上述したと同様の手順で行うことができる。
【０１４７】
このように、指示座標移動ベクトル算出は、ポインティング装置３ではなく、ＰＣ１側で行うこともできる。
【０１４８】
なお、指示座標移動ベクトル算出をポインティング装置３側で行う利点は、すでに述べたが、ポインティング装置３で算出された指示座標移動ベクトル情報だけをＰＣ１に送信すればよいので、ポインティング装置３とＰＣ１との間で、情報量の多い画像情報の授受の必要がなくなり、両者間の通信負荷を軽くすることができるといった利点の他に、ＰＣ１側から見てポインティング装置３を単なるデバイスとしてみなすことができる。すなわち、そのデバイス（ポインティング装置）からＰＣ１に対して単に相対標情報が送信されてくるので、ＰＣ１側では特に複雑な処理を行う必要が無く、画像処理のための複雑なハードウエアやソフトウエアを搭載する必要がなくなり、かつ、ＰＣ１側の演算量を削減できる。
【０１４９】
一方、指示座標移動ベクトル算出をＰＣ１側で行う利点は、ポインティング装置３では、撮影画像情報を単にＰＣに送信するだけであり、ポインティング装置３での演算量を少なくすることができる。また、ポインティング装置３側に、指示座標移動ベクトルを算出するに必要なハードウエアやソフトウエアを搭載する必要がない。したがって、ポインティング装置３として、一般的な携帯情報機器を用いることができる。また、ポインティング装置３よりもＰＣ１の方が一般的に処理能力が高いので、より高速に指示座標移動ベクトル算出処理が行えるほか、複雑な画像処理演算も容易かつ高速にできるため、高精度な指示座標移動ベクトルの算出が可能となる。
【０１５０】
〔実施形態３〕
この実施形態３は前述の実施形態１と実施形態２とを組み合わせることによって、ポインティング装置３が表示画像中の指示座標の特定を高速かつ高精度に行うことができるようにしたものである。
【０１５１】
すなわち、実施形態１において、ポインティング装置３による指示座標の特定を行う際、図３のフローチャートに示すように、カメラ付き携帯電話機３から送信された撮影画像情報を取得すると（ステップＳ１）、まず、歪や明るさなど各種の補正処理、さらに、拡大／縮小など各種の前処理を行い（ステップＳ２）、その前処理された撮影画像情報からテンプレート画像情報を生成し（ステップＳ３）、このテンプレート画像情報がスクリーン２２上に表示されている表示画像全体のどの部分に対応するのかを、そのテンプレート画像情報と表示画像情報記憶手段１１に記憶されている表示画像情報のうち撮影時点で表示されている表示画像に対応する表示画像情報とに対してパターンマッチングを行って判定する（ステップＳ４）。
【０１５２】
そして、テンプレート画像情報が撮影時点で表示されている表示画像に対応する表示画像情報のどの部分に対応するのかが判定されると、その判定された部分の中央部が指示位置Ｐであるとしてその指示位置Ｐに対応する座標を指示座標として特定する（ステップＳ５）。
【０１５３】
このようにして、指示座標の特定を行うが、実施形態１においては、指示座標特定手段１３が行う指示座標特定処理は、テンプレート画像を表示画像全体に対してパターンマッチングを行って指示座標を特定するようにしていたが、この実施形態３では、実施形態２で説明したカメラ付き携帯電話機３の移動によって求められる相対座標移動ベクトル情報を用いて、テンプレート画像と表示画像とのパターンマッチングを行うべき領域の絞込みを行い、その絞り込まれた領域について、テンプレート画像と表示画像とのパターンマッチングを行うようにするものである。
【０１５４】
図１０はこの実施形態３を説明するに必要な構成要素を示す図であり、実施形態１の説明で用いた図１と、実施形態２の説明で用いた図５を組み合わせたものである。すなわち、この図１０に示す構成は、図１の構成におけるポインティング装置３を図５のポインティング装置３とした構成となっている。したがって、情報処理装置（ＰＣ）１は図１と同様、表示画像情報記憶手段１１、表示画像生成手段１２、指示座標特定手段１３を有している。また、ポインティング装置３は、視準手段３１、撮像手段３１の他に、指示座標移動ベクトル算出手段３３、撮影画像情報記憶手段（フレームバッファ）３４を有した構成となっている。
【０１５５】
このような構成においてその動作を説明する。まず、実施形態１および実施形態２と同様に、スクリーン２２上にはＰＣ１の表示画像情報記憶手段１１に記憶されている表示画像情報のうちのある表示画像情報がプロジェクタ２１に送られて、その表示画像２３がスクリーン２２上に投影されているものとする。
【０１５６】
この状態で、まず、カメラ付き携帯電話機３（この実施形態３においても、ポインティング装置３をカメラ付き携帯電話機３として説明する）の撮影機能を用いてスクリーン２２のある範囲を撮影する。次に、カメラ付き携帯電話機３で次のフレームを撮影し、先に撮影した直前のフレームと比較することで、移動方向・移動量を計算し、指示座標移動ベクトル算出手段３３によって指示座標移動ベクトルを算出する。
【０１５７】
そして、撮像手段３２で撮像された最新の撮影画像と指示座標移動ベクトル算出手段３３で算出された指示座標移動ベクトル情報とをＰＣ１の指示座標特定手段１３に送る。この指示座標特定手段１３は、この撮像手段で撮像された最新の撮影画像と指示座標移動ベクトル算出手段３３で算出された指示座標移動ベクトル情報と、表示画像情報記憶手段１２に記憶されている撮影時点（カメラ付き携帯電話機３の撮影手段３２による撮影時点）における表示画像とを用いて指示座標の特定を行う。この指示座標特定手段１３の動作を以下に詳細に説明する。
【０１５８】
図１１は指示座標特定手段１３が行う指示座標特定処理を模式的に示す図であり、（ａ）はカメラ付き携帯電話機３側の撮影画像の時間軸Ｔ上の変化を表し、（ｂ）はＰＣ１側の表示画像情報記憶手段１１から取得される表示画像の時間軸Ｔ上の変化を表すものである。
【０１５９】
このカメラ付き携帯電話機３の撮影画像の時間軸Ｔ上の変化は、ユーザがカメラ付き携帯電話機３を図１２に示すように、破線の矢印方向に移動させることによって、このカメラ付き携帯電話機３の撮影可能範囲（図１２の破線枠で囲まれた領域ａ０，ａ１）が破線の矢印に沿って変化することに対応している。なお、図１２では、初期位置Ｐ０からこの場合の移動最終位置Ｐ１まで、カメラ付き携帯電話機３を移動させた状態が示されている。すなわち、撮像手段３２からは、カメラ付き携帯電話機３の移動に応じたそれぞれのフレームごとの撮影画像が出力されるが、図１１においては、最新（時刻Ｔｎ）の撮影画像Ｉｓ（n）とその直前のフレームの撮影画像Ｉｓ(n-1)とさらにその前のフレームの撮影画像Ｉｓ(n-2)のみが示されている。
【０１６０】
同様に、ＰＣ１側の表示画像情報記憶手段１１から取得される表示画像も図１１では、最新（時刻Ｔｎ）の表示画像Ｉｄ(n)とその直前の表示画像Ｉｄ（n-1）とさらにその前の撮影画像Ｉｄ（n-2）のみが示されている。
【０１６１】
なお、図１１において、最新の撮影画像（時刻Ｔｎにおける撮影画像）はカメラ付き携帯電話機３を図１２の移動最終位置Ｐ１に移動させた状態で撮影して得られた撮影画像であるとする。
【０１６２】
そして、指示座標移動ベクトル算出手段３３では、実施形態２で説明したように、撮像手段３２から得られる時間的に連続した複数の撮影画像から指示座標移動ベクトル（これを指示座標移動ベクトルＶとする）を算出し（図１１のステップＳ４１）、その算出された指示座標移動ベクトルＶに基づいて、ポインタマークＭの指示位置（この実施形態３ではこれを仮の指示位置Ｐｔという）を求める。
【０１６３】
この仮の指示位置Ｐｔは、初期位置Ｐ０から指示座標移動ベクトルＶの分だけ離れた位置である。なお、この実施形態３では、この仮の指示位置ＰｔはポインタマークＭの実際の表示位置ではなく、まず、仮の指示位置Ｐｔを求めて、それに基づいて最終的な指示位置が決定される。
【０１６４】
そして、仮の指示位置Ｐｔが求められると、パターンマッチングを行う領域の絞込みを行って、その絞り込まれた領域をパターンマッチング領域として設定する（ステップＳ４２）。すなわち、仮の指示位置Ｐｔを中心とした所定範囲を設定し、設定された所定範囲をパターンマッチング領域とする。そして、このパターンマッチング領域内において撮影画像とその撮影画像の撮影時点での表示画像とのパターンマッチングを行う（ステップＳ４３）。そして、このパターンマッチング結果に基づいて指示座標の特定を行う（ステップＳ４４）。
【０１６５】
次に、このパターンマッチング結果に基づいた指示座標の特定処理について図１３を参照しながら説明する。
【０１６６】
前述したように、撮像手段３２から得られる時間的に連続した複数の撮影画像から指示座標移動ベクトルＶを算出し、その算出された指示座標移動ベクトルＶに基づいて、ポインタマークＭの仮の指示位置Ｐｔを求める。そして、この仮の指示位置Ｐｔを基準にパターンマッチング領域ａｐを設定する。図１３では模式的に、Ｐｔを中心に縦５画素、横５画素の範囲をａｐとして表している。パターンマッチング領域ａｐの広さ等については、この例以外にも種々設定可能である。
【０１６７】
そして、カメラ付き携帯電話機３の撮像手段３２で得られた撮影画像Ｉｓ(n)（図１３においてハッチングを施した矩形で示す）から、実施形態１の説明で用いた図３のステップＳ２からＳ３で示す処理と同様の手段によって、テンプレート画像Ｉｔ(n)を生成する。
【０１６８】
次に、先ほど求めた仮の指示位置Ｐｔを中心とする所定のパターンマッチング領域ａｐ内の各画素の位置ごとに、テンプレート画像Ｉｔ(n)と、撮影画像Ｉｓ(n)の撮影時点での表示画像Ｉｄ(n)とのパターンマッチングを行う。
【０１６９】
設定されたパターンマッチング領域ａｐ内でパターンマッチング処理が終了したら、これまで求められた最も高い相関を有する画素の位置を座標として取得し、その座標を求めるべき指示位置（これを指示位置Ｐ１とする）として決定し、その指示位置Ｐ１にポインタマークＭを移動させて表示させる。
【０１７０】
この図１３では仮の指示位置Ｐｔの左斜め下に指示位置Ｐ１が存在していた例が示されており、この指示位置Ｐ１にポインタマークＭが表示される。
【０１７１】
以上説明したように、実施形態１で説明した絶対座標による指示位置の特定を行う際は、撮影画像を表示画像全域とパターンマッチングさせて指示位置を特定するようにしたが、この実施形態３によれば、実施形態２で説明した相対座標による指示位置の特定処理を併用することによって、その相対座標による指示位置の特定処理によって得られた指示位置を仮の指示位置として、その周辺に所定のパターンマッチング領域を設定し、そのパターンマッチング領域内のパターンマッチングを行えばよいことから、表示画像全域をパターンマッチング対象とする場合に比べて、パターンマッチングに要する演算量を大幅に削減することができ、高速でかつ高精度な指示位置の特定を行うことができる。
【０１７２】
なお、この実施形態３においても、前述の実施形態１および実施形態２と同様、ポインティング装置３としてカメラ付き携帯電話機を用いた例で説明したが、カメラ付き携帯電話機に限られるものではなく、通信機能を有したディジタルスチルカメラや通信機能を有したディジタルビデオカメラなどでも同様に実施可能であることは勿論である。また、ポインタマーク画像情報は、ＰＣ１の表示画像情報記憶手段１１に保持されている例で説明したが、実施形態１で述べたように、ポインタマーク画像情報は他の場所（たとえば、ポインティング装置３側）に保存されていてもよく、その保存場所からポインタマーク画像情報を読み出して、それをＰＣ１に転送するようにすることもできる。
【０１７３】
なお、この実施形態３では、指示座標移ベクトル算出処理は、ポインティング装置３側で行うようにしているが、実施形態２でも説明したように、この指示座標移動ベクトル算出処理はＰＣ１側で行うこともできる。この場合、ＰＣ１側に指示座標移動ベクトル算出手段３３と撮影画像情報記憶手段３４を設け、ポインティング装置３からの撮影画像情報を指示座標移動ベクトル算出手段３３に送って、指示座標移動ベクトルを算出する。その指示座標移動ベクトル算出処理は上述したと同様の手順で行うことができる。
【０１７４】
そして、指示座標特定手段１３は撮影手段３２からの撮影画像情報と指示座標移動ベクトル算出手段３３で算出された指示座標移動ベクトルと、表示画像情報記憶手段１１に記憶されている撮影時点での表示画像を用いて指示座標の特定を行う。
【０１７５】
このように、指示座標移動ベクトル算出をＰＣ１側で行う利点は、ポインティング装置３では、撮影画像情報を単にＰＣに送信するだけであり、ポインティング装置３での演算量を少なくすることができる。また、ポインティング装置３側に、指示座標移動ベクトルを算出するに必要なハードウエアやソフトウエアを搭載する必要がない。したがって、ポインティング装置３として、一般的な携帯情報機器を用いることができる。また、ポインティング装置３よりもＰＣ１の方が一般的に処理能力が高いので、より高速に指示座標移動ベクトル算出処理が行えるほか、複雑な画像処理演算も容易かつ高速にできるため、高精度な指示座標移動ベクトルの算出が可能となる。
【０１７６】
さらに、この実施形態３の場合、ＰＣ１側に存在している指示座標特定手段１３をポインティング装置３側に設けるようにして、ポインティング装置３側で指示座標特定処理までを行うようにしてもよい。この場合、ポインティング装置３の構成要素としては、撮像手段３２、指示座標移動ベクトル算出手段３３、撮影画像情報記憶手段（フレームバッファ）３４の他に、指示座標特定手段１３が設けられる。そして、このポインティング装置３側に存在する指示座標特定手段１３は、撮影手段３２からの撮影画像と指示座標移動ベクトル算出手段３３によって算出された指示座標移動ベクトルを用い、さらに、ＰＣ１側の表示画像情報記憶手段１１から撮影時点で表示されている表示画像を取得して、指示座標特定処理を行い、それによって特定された指示座標をＰＣ１側（表示画像情報生成手段１２）へ送るようにする。
【０１７７】
このように、指示座標特定手段１３をポインティング装置３側に設けて、ポインティング装置３側で指示座標特定処理までを行う利点は、ＰＣ１側から見てポインティング装置３を単なるデバイスとしてみなすことができる。すなわち、そのデバイス（ポインティング装置３）に対して表示画像情報を送信しさえすれば、デバイスからは絶対座標情報が送信されてくるので、ＰＣ１側では特に複雑な処理を行う必要が無く、画像処理のための複雑なハードウエアやソフトウエアを搭載する必要がなくなり、かつ、ＰＣ１側の演算量を削減できる。
【０１７８】
〔実施形態４〕
この実施形態４は上述した実施形態１，２，３において、ポインティング装置３によって指示されることによって得られた指示座標位置で、ＰＣ１に対して何らかのコマンドを与え、ＰＣ１ではそのコマンドに対応した処理を行って、その結果をポインタマーク位置に反映可能とした例について説明する。なお、ここでは、指示位置を絶対座標として取得する場合（実施形態１の場合）について説明する。
【０１７９】
図１４はこの実施形態４を実現するための構成図であり、図１で示した構成図に対して、ポインティング装置３側にはコマンド入力手段３５が設けられ、ＰＣ１にはコマンド処理手段１４が設けられている点が異なるだけで、それ以外の構成要素は図１と同様であるので、同一部分には同一符号を付すことによって、それらの説明は省略する。また、この実施形態４においてもポインティング装置３としてカメラ付携帯電話３を用いるものとする。
【０１８０】
コマンド入力手段３５は、この場合、ポインティング装置３がカメラ付き携帯電話機３であるのでそのカメラ付き携帯電話機３に設けられているキー入力部を用いることができ、このキー入力部を操作することによって様々なコマンドを発生することができるようになっているものとする。
【０１８１】
コマンド処理手段１４は、カメラ付き携帯電話機３から与えられコマンドに対応した処理を実行するものである。
【０１８２】
なお、カメラ付き携帯電話機３からのコマンドはたとえばそのカメラ付き携帯電話機３の持つ通信機能を用いてインタネットなどを介してＰＣ１に送信されるようにしてもよく、また、赤外線通信などによって直接ＰＣ１に送信されるようにしてもよく、その通信手段は種々考えられる。
【０１８３】
図１５はスクリーン２２上に投影された表示画像２３のあるポインティング位置（カメラ付き携帯電話機３によって指示された指示座標位置）にそのカメラ付き携帯電話機３からコマンド入力を行って、そのコマンドに対する処理結果が反映された例を示すもので、この図１５の例では、カメラ付き携帯電話機３からのコマンドは、基地局４からインタネット５などを介してＰＣ１に送信される例が示されている。
【０１８４】
この例では、カメラ付き携帯電話機３から出力されたコマンドとしては、「Ｈｅｌｌｏ」という単語を、そのカメラ付き携帯電話機３で指示した指示位置Ｐ(図２参照)に表示させるというものである。すなわち、前述の実施形態１で説明したような手順によって、ポインタマークの表示位置である指示座標を取得する処理を行い、その結果得られたポインタマークの指示座標上において、「Ｈｅｌｌｏ」という単語を表示させるコマンドを発生することで、ＰＣ１側ではそのコマンドを受け取り、その時点におけるポインタマークの指示座標上に「Ｈｅｌｌｏ」を表示させるというものである。
【０１８５】
このようなポインタマークの指示座標上でのコマンド実行処理は、ポインティング装置により指示した座標をＰＣ１が把握できるために可能となるものである。
【０１８６】
図１６は図１５に対して他のコマンド入力例であり、この図１６の場合は、数値をポインタマークの指示座標上で表示させる例を示すもので、この場合は、カメラ付き携帯電話機３からコマンドとしての数値入力を行うことで、ＰＣ１側ではたとえば表計算アプリケーションが働いてそのコマンドに対する処理を実行し、その処理結果が指定座標に表示される。
【０１８７】
なお、上述の例は指示位置の座標を絶対座標として取得する場合のコマンド入力とそのコマンドに対する処理について説明したが、指示位置の座標を相対座標として取得する場合もほぼ同様に実行できる。
【０１８８】
図１７は指示位置の座標を相対座標として取得する場合（実施形態２の場合）におけるコマンド入力とそのコマンドに対する処理について説明する構成図であり、図５で示した構成図に対して、ポインティング装置３側にはコマンド入力手段３５が設けられ、ＰＣ１にはコマンド処理手段１４が設けられている点が異なるだけで、それ以外の構成要素は図５と同様であるので、同一部分には同一符号を付すことによって、それらの説明は省略する。
【０１８９】
この場合も、前述の実施形態２で説明したような手順によって得られたポインタマークの指示座標に、何らかのコマンドを発生することで、ＰＣ１側ではそのコマンドに対応した処理を実行し、その時点におけるポインタマークの指示座標上でそのコマンドに対する処理結果を反映させることができる。
【０１９０】
また、実施形態３についても実施形態１および実施形態２と同様にコマンド入力を行うことができることは勿論である。
【０１９１】
なお、本発明は上述の実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、上述の各実施形態では、プレゼンテーション会場などにおいて、プロジェクタによってスクリーン上に投影された表示画像に対するポインティング操作について説明したが、本発明における表示デバイスはプロジェクタに限られるものではなく、パーソナルコンピュータ（ＰＣ）に接続された液晶モニタ等各種の表示デバイスなどにも適用することができ、また各種ゲーム機器にも応用可能である。
【０１９２】
また、本発明は以上説明した本発明を実現するための処理手順が記述された処理プログラムを作成し、その処理プログラムをフロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくこともでき、本発明は、その処理プログラムの記録された記録媒体をも含むものである。また、ネットワークから該処理プログラムを得るようにしてもよい。
【図面の簡単な説明】
【０１９３】
【図１】本発明の実施形態１を説明する構成図である。
【図２】実施形態１における指示位置を絶対座標として取得する例を説明する図である。
【図３】実施形態１における指定座標特定処理手順を説明するフローチャートである。
【図４】実施形態１における表示画像上にポインタマークを合成する処理を説明するフローチャートである。
【図５】本発明の実施形態２を説明する構成図である。
【図６】実施形態２における指示位置を相対座標として取得する例を説明する図である。
【図７】実施形態２における指定座標移動ベクトル算出処理手順を説明するフローチャートである。
【図８】図７の指定座標移動ベクトル算出処理の具体例を説明する図である。
【図９】実施形態２における表示画像上にポインタマークを合成する処理を説明するフローチャートである。
【図１０】本発明の実施形態３を説明する構成図である。
【図１１】実施形態３の指示座標特定処理を説明する図である。
【図１２】実施形態３におけるポインティング装置（カメラ付き携帯電話機）３によるポインティング操作例を説明する図である。
【図１３】実施形態３において指示座標特定を行うためのパターンマッチングの動作例を説明する図である。
【図１４】本発明の実施形態４を説明する構成図であり、指定位置を絶対座標として取得し、そのあと、その指定座標上でコマンドを実行可能とするための構成図である。
【図１５】コマンド入力を行って、そのコマンドに対する処理の実行結果が指定座標位置に表示された一例を示す図である。
【図１６】コマンド入力を行って、そのコマンドに対する処理の実行結果が指定座標位置に表示された他の例を示す図である。
【図１７】本発明の実施形態４を説明する構成図であり、指定位置を相対座標として取得し、そのあと、その指定座標上でコマンドを実行可能とするための構成図である。
【符号の説明】
【０１９４】
１  情報処理装置（ＰＣ）、２  情報表示装置、３  ポインティング装置（カメラ付き携帯電話機）、１１  表示画像情報記憶手段、１２  表示画像情報生成手段、１３  指示座標特定手段、１４  コマンド処理手段、２１  プロジェクタ、２２  スクリーン、２３  表示画像、３１  視準手段、３２  撮影手段、３３  指示座標移動ベクトル算出手段、３４  撮影画像情報記憶手段、３５  コマンド入力手段、Ｍ  ポインタマーク、Ｐｔ  仮の指示位置、Ｉｓ  撮影画像、Ｉｔ  テンプレート画像、Ｉｄ  表示画像、Ｖ  指示座標移動ベクトル、ａｐ  パターンマッチング領域
【図１】
2004318823.tif 000003
【図３】
2004318823.tif 000004
【図４】
2004318823.tif 000005
【図５】
2004318823.tif 000006
【図７】
2004318823.tif 000007
【図９】
2004318823.tif 000008
【図１０】
2004318823.tif 000009
【図１１】
2004318823.tif 000010
【図１７】
2004318823.tif 000011
【図２】
2004318823.tif 000012
【図６】
2004318823.tif 000013
【図８】
2004318823.tif 000014
【図１２】
2004318823.tif 000015
【図１３】
2004318823.tif 000016
【図１４】
2004318823.tif 000017
【図１５】
2004318823.tif 000018
【図１６】
2004318823.tif 000019