(57)【要約】【課題】表示画面上でのポインティング操作において、ポインティングの分解能ならびに精度を向上させることを目的とする。【解決手段】指示具１により画像表示機器１００上でのポインティング操作を行うことが可能な情報入力システムであって、画像を撮像する撮像手段（４）と、前記撮像手段により撮像された複数の画像に基づいて、指示具１の姿勢の変化量を算出する変化量算出手段（８、９、１０）と、前記算出された変化量を累積し、前記表示画面上での座標位置を算出する座標位置算出手段（３４、３５）と、前記算出された座標位置を前記表示画面上に出力するための出力手段（３６）とを備える。【選択図】  図５
2004220431.tif 000002
【特許請求の範囲】
【請求項１】
指示装置により表示画面上でのポインティング操作を行うことが可能な情報入力システムであって、
画像を撮像する撮像手段と、
前記撮像手段により撮像された複数の画像に基づいて、前記指示装置の姿勢の変化量を算出する変化量算出手段と、
前記算出された変化量を累積し、前記表示画面上での座標位置を算出する座標位置算出手段と、
前記算出された座標位置を前記表示画面上に出力するための出力手段と
を備えることを特徴とする情報入力システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、テレビ会議システムやプレゼンテーションシステムにおけるモニタから、インタネットテレビ、デジタルテレビにいたるまでの各種表示装置に対して、遠隔から指示具（指示装置）を用いることにより、当該表示画面上において、ポインティング操作を行うための技術に関するものである。
【０００２】
【従来の技術】
従来より、遠隔から指示具を用いることにより、表示画面上においてポインティング操作をすることが可能な情報入力システムが提案されてきている。
【０００３】
例えば、第１のタイプとしては、指示具が所定の形態で配置された複数の発光素子を備え、使用者がこの指示具を適宜傾けることによりポインティング操作を行うシステムが挙げられる。具体的には、指示具と据え置き装置とを備えるシステムにおいて、据え置き装置が指示具より照射された光を受光する受光部を備え、指示具の傾きによって該指示具側の複数の発光素子から照射される光の相対強度の変化を検知して、座標ないし座標の変化分を算出し、表示画面上に表示するものである（特許文献１参照）。
【０００４】
第２のタイプとしては、一般にポインタと称する指示具より表示画面上の意図する位置にレーザ光を照射し、これを、画面の背後ないし画面の表側にあるカメラによってその像を検知することによって座標ないし座標の変化分を算出し、表示画面上に表示するものである（特許文献２参照）。
【０００５】
第３のタイプとしては、指示具に加速度センサないし磁気センサを備えることにより該指示具の方向および傾きを求め、これを基に座標ないし座標の変化量を算出し、表示画面上に表示するものである（特許文献３乃至７参照）。
【０００６】
【特許文献１】
特許第３２６２６９２号公報
【特許文献２】
特開平７−２６１９２０号公報
【特許文献３】
特開平６−１９８０７号公報
【特許文献４】
特開平７−２８４１６６号公報
【特許文献５】
特開２０００−３０８７５号公報
【特許文献６】
特開平８−３２０７５８号公報
【特許文献７】
特開平５−２３３１３０号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来例は、いずれも様々な問題点を有している。
【０００８】
上記従来例における第１のタイプの情報入力システムにおいては、座標の精度は、指示具上に配置される複数の発光素子間距離によって決まるが、指示具の大きさには限界があるため、さらなる精度向上には限界がある。また、位置情報として光の振幅を用いることから、結果として算出される座標ないし座標変化分の精度は十分とはいえない。
【０００９】
また、第２のタイプのものについては、レーザを用いるので少なくとも危険性が皆無ではないといった問題がある。さらに、レーザ光を検知するために別途カメラの設置場所を確保する必要があり、使用条件が制約されるといった問題もある。
【００１０】
さらに、第３のタイプのものについては数ｄｅｇ以下の比較的小さな角度の動きにおいて感度が不十分であり、実際に使用した場合に分解能の低さを実感することとなる。
【００１１】
本発明は、上記課題を鑑みてなされたものであり、表示画面上でのポインティング操作において、安全で、かつ使用条件に制約のないシステムのもと、ポインティングの分解能ならびに精度を向上させることを目的とする。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために本発明に係る情報入力システムは以下のような構成を備える。即ち、
指示装置により表示画面上でのポインティング操作を行うことが可能な情報入力システムであって、
画像を撮像する撮像手段と、
前記撮像手段により撮像された複数の画像に基づいて、前記指示装置の姿勢の変化量を算出する変化量算出手段と、
前記算出された変化量を累積し、前記表示画面上での座標位置を算出する座標位置算出手段と、
前記算出された座標位置を前記表示画面上に出力するための出力手段と
を備えることを特徴とする情報入力システム。
【００１３】
【発明の実施の形態】
以下、図面を参照しながら、各実施の形態を詳細に説明していく。
【００１４】
【第１の実施形態】
＜情報入力システムの概略＞
図１は本発明の第１の実施形態にかかる情報入力システムの適用例を示す図である。同図において、ハッチング部分は本実施形態にかかる情報処理システムを構成する指示具１（指示装置）と据え置き側ユニット２（情報処理装置）である。
【００１５】
なお、図１において指示具１はポインティング機能の他、ペン機能、リモコン機能を有していても良い。据え置き側ユニット２は指示具１から送られるデータを受信しコンピュータないし画像表示装置１００に出力する機能を有する。
【００１６】
指示具１はエリアセンサを備えることを特徴としている。そして、該エリアセンサは、指示具１の前方を撮像するように具え付けられている。図２は、指示具１の前部３にエリアセンサ４が具え付けられた様子を示すものである。これにより、例えば図１のような空間にある場合、図６および図７のような画像を取り込むことが可能である。
【００１７】
本実施形態にかかる情報入力システムでは、使用者が指示具１を上下左右に傾ける、ないし回転させて指示具の姿勢を変化させることによりオペレーションシステムないしオペレーションシステム上のアプリケーションに対して、座標、座標の変化量、オブジェクトの姿勢ないし姿勢の変化量などを入力することが可能である。
【００１８】
具体的には、エリアセンサ４によって取り込まれる画像の並進の動作と回転の動作とを抽出して、指示具１の姿勢変化を求め、これを指示具１より据え置き側ユニット２に送信することによって実現する。
【００１９】
そして据え置き側ユニット２で指示具１の姿勢変化のデータからコンピュータ乃至画像表示装置１００等に出力する座標、座標の変化量、あるいはアプリケーションソフト上のオブジェクトの回転運動を表すデータを算出する。
【００２０】
このように本実施形態にかかる情報入力システムでは、可視光のもとでエリアセンサを用いているため、レーザを用いた場合のような危険性が皆無であるという特徴がある。
【００２１】
＜座標の算出方法＞
次に指示具１の動きと取り込まれる画像の動き、および座標の計算方法について詳細に説明する。なお、説明にあたって用いられる各種パラメータは図８にまとめて定義している。
【００２２】
また、指示具１の動きを正確に表現するため、図３Ａ、図３Ｂにａ軸、ｂ軸、ｃ軸およびθａ（チルト角）、θｂ（パン角）、θｃ（リボルビング角）を示す。θａ、θｂ、θｃは指示具１の姿勢を表すものである。
【００２３】
図４Ａにコンピュータないし画像表示装置１００における座標Ｐ＝（Ｐｘ、Ｐｙ）を示す（ここでは、表示画面左上端を原点とした場合の例を示している）。
【００２４】
図４Ｂに、アプリケーションにおけるオブジェクトの回転位置を示すパラメータθｏｂｊ＿ａ、θｏｂｊ＿ｂ、θｏｂｊ＿ｃを示す。
【００２５】
図６（Ａ）に取り込み画像におけるＸ軸、Ｙ軸、Ｚ軸、Θｚを定義する。同様に図６（Ｂ）、図７（Ｂ）に１サンプルあたりの画像の動きベクトルＶ＝（Ｖｘ、Ｖｙ）、１サンプルあたりの画像回転量Ｖ＿ｒｏｔを示す。
【００２６】
エリアセンサ４はここまでの説明で明らかなように指示具１におけるａｂ面、すなわちｃ軸に垂直な面に、ｃ軸方向を撮像方向として備えつけられている。従って、使用者が指示具１を上方に向けた場合、撮影画像はおよそ下側に移動し（すなわち下方に向けた場合、撮影画像はおよそ上方に移動し）、また、使用者が指示具１を右方向に向けた場合、撮影画像はおよそ左方向に移動し（すなわち左方向に向けた場合、撮影画像はおよそ右方向に移動し）、また、ｃ軸に沿ってねじった場合、撮影画像はおよそＺ軸方向に回転移動を行う。
【００２７】
ここでゼロ以外の所定の実定数としてｋ１、ｋ２、ｋ３、ｋ４、ｋ５、ｋ６、ｋ７、ｋ８、ｋ９を定義し、以下、段階を踏んで計算の手順を説明する。
【００２８】
まず、指示具１と画像の関係は上述のような位置関係にあるので指示具１の姿勢は下記のように求められる。
Δθｂ＝（−１）×ｋ１×Ｖｘ          式１＿１
Δθａ＝（−１）×ｋ２×Ｖｙ          式１＿２
Δθｃ＝（−１）×ｋ３×Ｖ＿ｒｏｔ        式２
ここで明示的に（−１）をかけるのは、指示具１前方の動きと画像の動きは直感的に反対方向であると言うことを強調している。この段階でデータ、すなわち（Δθａ、Δθｂ、Δθｃ）はスイッチ情報とあわせて姿勢情報のデータストリームとして再構成されて据え置き側ユニット２に送信される。
【００２９】
次に、これを基に据え置き側ユニット２で、コンピュータ乃至画像表示装置１００等に制御情報として送られるデータが計算される。
【００３０】
▲１▼まず、前記姿勢情報が、所謂オペレーションシステムにおけるペン入力データとしての座標ないし該座標の１サンプルあたりの変化量である場合、以下ように計算される。座標の変化量は、
ΔＰｘ＝ｋ４×Δθｂ        式３＿１
ΔＰｙ＝ｋ５×Δθａ        式３＿２
座標値は所定の基準値をＰｘ０、Ｐｙ０すると、
【００３１】
【数１】
2004220431.tif 000003
【００３２】
【数２】
2004220431.tif 000004
である。このデータは手書き文字の入力、ポインティング、軌跡入力などに用いられる。
【００３３】
▲２▼前記姿勢情報が、所謂オペレーションシステムないし該オペレーションシステム上のアプリケーションにおける、ヴァーチャルなパラメータとしての回転位置ないしその変化量である場合、回転の変化量は、
ΔＰ＿ｒｏｔ＝ｋ６×Δθｃ        式５
所定の基準値をＰ＿ｒｏｔ０とすると、
【００３４】
【数３】
2004220431.tif 000005
である。このデータは、回転量によって何らかのレベルを調整する、または切り替えを行うなどのヴァーチャルボリューム、ヴァーチャルスイッチ等に用いられる。
【００３５】
▲３▼前記姿勢情報が前記オペレーションシステム上のアプリケーションにおけるオブジェクトの姿勢を制御する情報である場合、そのオブジェクトの回転位置の変化量は、
Δθｏｂｊ＿ａ＝ｋ７×Δθａ        式７＿１
Δθｏｂｊ＿ｂ＝ｋ８×Δθｂ        式７＿２
Δθｏｂｊ＿ｃ＝ｋ９×Δθｃ        式７＿３
で求められ、かつ回転位置は所定の基準値をθｏｂｊ＿ａ＿０、θｏｂｊ＿ｂ＿０、θｏｂｊ＿ｃ＿０とすると、
【００３６】
【数４】
2004220431.tif 000006
【００３７】
【数５】
2004220431.tif 000007
【００３８】
【数６】
2004220431.tif 000008
で求められる。このデータは例えば航空機による戦闘ゲームの場合において、航空機を示すオブジェクトの姿勢制御などに用いられる。本実施形態では指示具１を所定の方向に向けた状態で、所定のスイッチないし所定の組み合わせのスイッチを押すことにより、▲１▼の座標値は、
Ｐｘ（ｉ＝０）＝Ｐｘ０          式９＿１
Ｐｙ（ｉ＝０）＝Ｐｙ０          式９＿２
に示すように所定の基準値Ｐｘ０、Ｐｙ０に設定され、▲２▼のヴァーチャルパラメータである回転位置は、
Ｐ＿ｒｏｔ（ｉ＝０）＝Ｐ＿ｒｏｔ０          式１０
に示すように所定の基準値Ｐ＿ｒｏｔ０に設定され、▲３▼の姿勢を示す回転位置は
θｏｂｊ＿ａ（ｉ＝０）＝θｏｂｊ＿ａ＿０        式１１＿１
θｏｂｊ＿ｂ（ｉ＝０）＝θｏｂｊ＿ｂ＿０        式１１＿２
θｏｂｊ＿ｃ（ｉ＝０）＝θｏｂｊ＿ｃ＿０        式１１＿３
に示すように基準位置θｏｂｊ＿ａ＿０、θｏｂｊ＿ｂ＿０、θｏｂｊ＿ｃ＿０に設定される。
【００３９】
以上の説明から明らかなように、制御情報は全ての画像の動き（すなわち変化量）からもとめた指示具１の姿勢の変化量に係数をかけて、積分乃至累積することによって求めることができる。このため、指示具１のわずかな姿勢の変化は、撮像画像の変化として検知することができ、ポインティングの際の高い分解能および精度を得ることができる。
【００４０】
また、指示具１の絶対的な方向位置、絶対的な回転位置等を直接検知する必要もなく、常に所定の基準方向、所定の基準回転角に対する相対的な値を求めるものであるため、本実施形態における情報入力システムは任意の方向に向かって、操作することが可能となる。したがって、使用条件が制約されるといった問題もない。
【００４１】
＜指示具１の構成と動作＞
図５および図９を用いて、指示具１の構成と処理の詳細について説明する。
【００４２】
指示具１は主としてエリアセンサ４、エリアセンサ４の光学系４−１、画像信号処理部７、画像メモリ８、メモリ１０、ＣＰＵ１、スイッチ（ＳＷ）群６、送信手段５、小型表示装置１５、送信波形作成回路１１とを備える。
【００４３】
エリアセンサ４は、前述の通り、指示具１前方の可視画像を捕らえるものであり、光学系４−１を具える。光学系４−１は所定の焦点距離を実現し、かつ赤外線カットフィルターを含む光学系である。
【００４４】
画像信号処理部７はエリアセンサ４で取得した画像データを所定のフォーマットに圧縮、変換するブロックであり、本実施形態における指示具１を座標等の入力装置として使う場合には比較的データ量の少ない画像データ（以下、ＩｍａｇｅＤａｔａ１（ｉ）と称す）を、座標計算用画像データとして１サンプルごとに作成する。一方、本実施形態における指示具１を撮像装置として使う場合には、劣化の少ない比較的サイズの大きい画像データ（以下、ＩｍａｇｅＤａｔａ２と称す）を作成する。
【００４５】
さらに、該画像信号処理部７は取り込み画像を解析することにより撮像対象の明るさを評価する機能を具え、明るさ評価データ（以下、ＯｐｔＤａｔａ）を作成する。
【００４６】
尚、該明るさ評価データは指示具ＣＰＵ９よりエリアセンサ４に送られ、次の１サンプル取り込み時の露光調整（具体的には電子シャッター時間の設定）に利用される。
【００４７】
画像メモリ８は座標計算用画像データ（ＩｍａｇｅＤａｔａ１（ｉ））を保存するメモリであり、該メモリに保存されたｉ番目のデータは次のｉ＋１番目の座標を計算する際に、比較対象である一つ前の画像としての役割を果たす。
【００４８】
スイッチ群６はスイッチデータ（以下、ＳｗＤａｔａと称す）を入力するための複数のスイッチであり、モード切替、すなわち、姿勢変化量入力機能（座標等入力モード）と、カメラ撮影モードとの切り替え、ならびに座標等入力モードの基準位置リセット信号の入力、同じく座標等入力モード時のペンアップダウンデータ（ＰｅｎＵｐ／ＤｏｗｎＤａｔａ）等の入力、カメラ撮影モード時のシャッタータイミングの入力、同じくカメラ撮影モード時の画像転送タイミングの入力、および、一般的なリモコンとしての信号入力を行うときに用いる。メモリ１は主としてカメラ撮影モード時にすでに撮影した静止画像を保存するのに用いられる所謂不揮発性メモリであり、電源オフ時もデータは保存される。
【００４９】
小型表示装置１５は液晶表示素子などに代表される表示装置である。小型表示装置１５はカメラ撮影モード時には、ファインダ、保存画像、送信画像の確認モニタとして用いられる。また姿勢情報送信時には付帯情報、モード情報などの表示に用いられる。
【００５０】
送信手段５は、指示具から据え置き側ユニット２に指示具の姿勢情報のデータ乃至、カメラ撮影データをワイヤレスで送る手段である。ここで指示具１から据え置き側ユニット２に信号を送る手段としては通常、電磁波と赤外線とが考えられる。電磁波を用いる場合は送信手段５は送信アンテナであり、赤外線を用いる場合は送信手段５は所謂赤外線ＬＥＤである。
【００５１】
本発明においては指示具１を任意の方向で使用可能にするということを目的としているので、送信手段５としては、電磁波を使うことがより望ましく、本実施形態では電磁波を送信手段として選択している。
【００５２】
送信波形処理回路１１は、もとの送信データを所定の規則に従って並べ替え、さらに所定のデータ変調をかけ、送信手段５で送信するための送信波形を作成している。指示具ＣＰＵ９は指示具１全体の制御と画像処理演算、座標等の制御信号の計算およびＳｗＤａｔａの読み出し、送信データの作成等を行っている。以下、指示具ＣＰＵ９による指示具全体の制御をフローチャート図９Ａ、図９Ｂを用いて説明する。
【００５３】
ステップＳ９０１Ａでは、ＳｗＤａｔａの読み出しとモードの判定を行う。モードが「カメラ撮影モード」であった場合には、ステップＳ９０２Ａに進み、ＳＵＢ＿カメラ撮影処理を行う（詳細は後述）。
【００５４】
一方、モードが「座標等入力モード」であった場合には、ステップＳ９０３Ａに進み、エリアセンサ４からｉ番目の画像を取得する。さらに、ステップＳ９０４ＡおよびステップＳ９０５Ａでは、取得したｉ番目の画像に基づいて、ＩｍａｇｅＤａｔａ１（ｉ）およびＯｐｔＤａｔａ（ｉ）を作成する。
【００５５】
ステップＳ９０６Ａでは、ステップＳ９０５Ａにおいて作成されたＯｐｔＤａｔａ（ｉ）に基づいてセンサに制御信号を送信するとともに、次サンプルの電子シャッターの設定を行う。
【００５６】
ステップＳ９０７Ａでは、ステップＳ９０４Ａにおいて作成されたＩｍａｇｅＤａｔａ１（ｉ）を画像メモリ８から読み出し、ステップＳ９０８Ａで、ＩｍａｇｅＤａｔａ１（ｉ−１）とＩｍａｇｅＤａｔａ１（ｉ）を比較し、Δθａ（ｉ）、Δθｂ（ｉ）、Δθｃ（ｉ）を算出する。ステップＳ９０９Ａでは、ＩｍａｇｅＤａｔａ１（ｉ）を画像メモリ８に保存する。
【００５７】
さらに、ステップＳ９１０Ａでは、Δθａ（ｉ）、Δθｂ（ｉ）、Δθｃ（ｉ）、ＳｗＤａｔａの各情報とヘッダならびに同期信号とに基づいて、所定のフォーマットによるデータストリームを構成する。
【００５８】
ステップＳ９１１Ａでは、データストリームに所定の規則に従って変調を施し、据え置き側ユニット２にワイヤレス送信する。
【００５９】
図９Ｂは、上記ステップＳ９０２Ａに示すＳＵＢ＿カメラ撮影処理の詳細を示すフローチャートである。
【００６０】
ステップＳ９０１Ｂでは、ＳｗＤａｔａの読み出しを行い、撮影モードであった場合には、ステップＳ９０２Ｂに進み、シャッタボタンが押されるまで待機する。
【００６１】
ステップＳ９０２Ｂにおいて、シャッタボタンが押された場合には、ステップＳ９０３Ｂに進み、エリアセンサ４から画像を取得し、ステップＳ９０４ＢにおいてＩｍａｇｅＤａｔａ２を作成し、当該ＩｍａｇｅＤａｔａ２を画像メモリ８に保存する（ステップＳ９０５Ｂ）。画像メモリ８に保存後は、再びステップＳ９０１Ｂに戻る。
【００６２】
一方、ステップＳ９０１Ｂにおいて、転送モードであった場合には、ステップＳ９０６Ｂに進み、画像メモリ８からＩｍａｇｅＤａｔａ２を読み出し、ステップＳ９０７Ｂにおいて、ＳｗＤａｔａの各情報とヘッダならびに同期信号をもとに所定のフォーマットに基づくデータストリームを構成する。
【００６３】
さらに、ステップＳ９０８Ｂにおいて、所定の規則に従って、変調を施した後、赤外線または電磁波として据え置き側ユニット２に送信する。送信後は再びステップＳ９０１Ｂに戻る。
【００６４】
なお、ステップＳ９０１Ｂにおいて、終了モードであった場合には、ＳＵＢ＿カメラ撮影処理を終了し、図９Ａに戻る。
【００６５】
＜据え置き側ユニットの構成と動作＞
次に、据え置き側ユニット２の構成を説明する。据え置き側ユニット２は主として受信手段３１、データ復調部３２、データ解読部３３、メモリ３５、インターフェース３６、据え置き側ＣＰＵ３４から構成される。受信手段３１は指示具１からワイヤレス送信される信号を受信する手段である。
【００６６】
本実施形態では電磁波を用いているので、受信手段３１はアンテナである。赤外線通信を用いて送信される場合は、フォトダイオード等の光電変換素子が用いられる。データ復調部３２は送受信のための波形からデジタルデータを検出するためのブロックであり、ＰＬＬによる読み出しクロックの抽出、データの復調等を行う。
【００６７】
データ解読部３３は復調したデータを解読し、データΔθａ、Δθｂ、Δθｃ、ＭｏｄｅＤａｔａ、ＳｗＤａｔａ、ＩｍａｇｅＤａｔａ２を抽出する。据え置き側ＣＰＵ３４は据え置き側ユニット２全体を制御するとともに、ＭｏｄｅＤａｔａからモードの判定を行ったり、ＳｗＤａｔａからＰｅｎＵｐ／ＤｏｗｎＤａｔａの抽出を行ったり、Δθａ、Δθｂ、ΔθｃからＰｘ（ｉ）、Ｐｙ（ｉ）、Ｐｒｏｔ（ｉ）、θｏｂｊ＿ａ、θｏｂｊ＿ｂ、θｏｂｊ＿ｃを算出したりする。
【００６８】
また、インターフェース３６を介して、これらのデータをコンピュータまたは画像表示機器１００等の外部機器に出力する機能を持つ。
【００６９】
図９Ｃに、据え置き側ユニット２における処理の流れを表すフローチャートを示す。ステップＳ９０１Ｃでは、受信信号の読み出し（送信波形処理回路からの出力信号の読み出し）を行い、ヘッダ信号を受信するまで待機する（ステップＳ９０２Ｃ）。
【００７０】
ステップＳ９０２Ｃにおいてヘッダ信号を受信した場合には、データストリームを解読し（ステップＳ９０３Ｃ）、ＳｗＤａｔａを抽出する（ステップＳ９０４Ｃ）。
【００７１】
ステップＳ９０５Ｃで、抽出したＳｗＤａｔａが「座標等入力モード」であった場合には、Δθａ（ｉ）、Δθｂ（ｉ）、Δθｃ（ｉ）ならびにＳｗＤａｔａを抽出し、ステップＳ９０６Ｃにおいて、ＳＵＢ制御情報計算処理を行う（処理の詳細は後述）。
【００７２】
ステップＳ９０７Ｃでは、ステップＳ９０５Ｃで算出された、Ｐ（ｉ）、Ｐｒｏｔ（ｉ）、ＰｅｎＵｐ／ＤｏｗｎＤａｔａ、ＭｏｄｅＤａｔａをコンピュータまたは画像表示機器１００へ送信する。送信後は再びステップＳ９０１Ｃに戻る。
【００７３】
一方、ステップＳ９０４Ｃにおいて抽出したＳｗＤａｔａが「カメラ撮影モード」であった場合には、ステップステップＳ９０８Ｃに進み、画像データおよびＳｗＤａｔａを抽出し、ステップＳ９０９Ｃにおいて、画像データの再構成ならびにＭｏｄｅＤａｔａの作成を行う。さらに、ステップＳ９１０Ｃでは、当該画像データ、ＭｏｄｅＤａｔａをコンピュータまたは画像表示機器へ送信する。送信後は再びステップＳ９０１Ｃに戻る。
【００７４】
図９Ｄは、ステップＳ９０６ＣのＳＵＢ制御情報計算処理の詳細を示す図である。ステップＳ９０１Ｄでは、Δθａ（ｉ）、Δθｂ（ｉ）、Δθｃ（ｉ）およびＳｗＤａｔａを抽出する。ステップＳ９０２Ｄでは、座標クリア情報を検出したか否かを判定し、検出していない場合には、ステップＳ９０３Ｄに進み、メモリ３５よりＰ（ｉ−１）を読み込む。一方、座標クリア情報を検出した場合には、ステップＳ９０４Ｄに進み、Ｐ（ｉ−１）にＰ０を代入する。
【００７５】
次にステップＳ９０５Ｄでは、回転座標クリア情報を検出したか否かを判定し、検出していない場合には、ステップＳ９０６Ｄに進み、メモリ３５よりＰ＿ｒｏｔ（ｉ−１）を読み出す。一方、回転座標クリア情報を検出していない場合には、ステップＳ９０７Ｄに進み、Ｐ＿ｒｏｔ（ｉ−１）にＰ＿ｒｏｔ０を代入する。
【００７６】
ステップＳ９０８Ｄでは、Ｐ（ｉ）＝Ｐ（ｉ−１）＋ΔＰ（ｉ）より、Ｐの累積値を算出する。さらにステップＳ９０９Ｄでは、Ｐ＿ｒｏｔ（ｉ）＝Ｐ＿ｒｏｔ（ｉ−１）＋ΔＰ＿ｒｏｔ（ｉ）より、Ｐ＿ｒｏｔの累積値を算出する。
【００７７】
ステップＳ９１０Ｄでは、算出されたＰ（ｉ）、Ｐ＿ｒｏｔ（ｉ）を保存し、ステップＳ９１１Ｄでは、Ｐ（ｉ）、Ｐ＿ｒｏｔ（ｉ）、ＰｅｎＵＰ／ＤｏｗｎＤａｔａ、ならびにＭｏｄｅＤａｔａをコンピュータまたは画像表示機器１００へ送信する。
【００７８】
以上の説明から明らかなように、本実施形態にかかる情報入力システムによれば、エリアセンサにより撮像された画像に基づいて、座標、座標の変化量等を算出することにより、十分な精度を確保することができるうえ、高い分解能を得ることが可能となる。また、レーザ等と異なり、危険性がないうえ、据え置き側ユニットに別途カメラ等を設ける必要もなく設置場所の制約等もない。
【００７９】
また、撮像した画像を送信する機能を付加することで、ポインティング操作以外の用途にも適用することができる。
【００８０】
【第２の実施形態】
図１０に本発明の第２の実施形態にかかる情報入力システムにおける指示具１００１（指示装置）を示す。本実施形態においては指示具１００１にあるエリアセンサ１００４は、可動な部材１００２を介して指示具１００１に固定されている。可動な部材１００２は指示具１００１の前方よりに、一軸回動機能を備えつつ、かつ電気的に接続された状態で可動接続されている。
【００８１】
本実施形態においてはかかる機構によりエリアセンサ１００４が指示具１００１前方、上方、下方などを向くことができる。本実施形態においては、コンピュータ乃至画像表示装置１００の制御情報を入力する機能として使う場合には、エリアセンサ１００４を主として図１０（上側図）のように前方に向けることになり、また、カメラ撮影機能として用いる場合には、例えば使用者の顔、表情を写す際には図１０（下側図）のように上方手前方向に向け、例えば前方の対象物を写す際には図１０（上側図）のように前方に向け、例えば机上の書類、サンプル品などを写す場合は下方に向けることとなる。
【００８２】
本実施形態においてはこのように構成することにより、より便利に座標等入力機能とカメラ撮影機能とを使い分けることができる。
【００８３】
なお、本発明の第１、２の実施形態に対応する実施態様の例を以下に列挙する。
【００８４】
［実施態様１］  指示装置により表示画面上でのポインティング操作を行うことが可能な情報入力システムであって、
画像を撮像する撮像手段と、
前記撮像手段により撮像された複数の画像に基づいて、前記指示装置の姿勢の変化量を算出する変化量算出手段と、
前記算出された変化量を累積し、前記表示画面上での座標位置を算出する座標位置算出手段と、
前記算出された座標位置を前記表示画面上に出力するための出力手段と
を備えることを特徴とする情報入力システム。
【００８５】
［実施態様２］  表示装置に接続される情報処理装置と、該情報処理装置を介して表示画面上でのポインティング操作を行うための指示装置とを備える情報入力システムであって、
前記指示装置は、
画像を撮像する撮像手段と、
前記撮像手段により撮像された複数の画像に基づいて、前記指示装置の姿勢の変化量を算出する変化量算出手段と、
前記算出された変化量を送信する送信手段と、を備え、
前記情報処理装置は、
前記指示装置から送信された変化量を累積し、前記表示画面上での座標位置を算出する座標位置算出手段と、
前記算出された座標位置を前記表示装置に出力する出力手段と
を備えることを特徴とする情報入力システム。
【００８６】
［実施態様３］  前記変化量算出手段は、前記撮像手段により撮像されたｉ番目の画像と、（ｉ−１）番目の画像とに基づいて、（ｉ−１）番目の画像からｉ番目の画像への上下方向、左右方向および回転方向の変化量を求め、該画像の変化量に基づいて、前記指示装置のチルト角、パン角およびリボルビング角の変化量を算出することを特徴とする実施態様１または２に記載の情報入力システム。
【００８７】
［実施態様４］  前記（ｉ−１）番目の画像からｉ番目の画像への上下方向の変化量は前記指示装置のチルト角の変化量に、左右方向の変化量は前記指示装置のパン角の変化量に、回転方向の変化量は前記指示装置のリボルビング角の変化量にそれぞれ対応することを特徴とする実施態様３に記載の情報入力システム。
【００８８】
［実施態様５］  前記（ｉ−１）番目の画像からｉ番目の画像への上下方向の変化量をＶｘ、前記指示装置のパン角の変化量をΔθｂ、左右方向の変化量をＶｙ、前記指示装置のチルト角の変化量をΔθａ、回転方向の変化量をＶ＿ｒｏｔ、前記指示装置のリボルビング角の変化量をΔθｃとすると、Δθｂ、Δθａ、Δθｃは、それぞれ所定のゼロ以外の実係数ｋ１、ｋ２、ｋ３を用いて、
Δθｂ＝（−１）×ｋ１×Ｖｘ、
Δθａ＝（−１）×ｋ２×Ｖｙ、
Δθｃ＝（−１）×ｋ３×Ｖ＿ｒｏｔ、
で表されることを特徴とする実施態様４に記載の情報入力システム。
【００８９】
［実施態様６］  前記座標位置算出手段は、
前記指示装置のパン角の変化量に対応する前記表示画面上での座標位置の変化量をΔＰｘ、前記指示装置のチルト角の変化量に対応する前記表示画面上での座標位置の変化量をΔＰｙとし、ｉ＝０のときの前記表示画面上での座標位置をＰｘ０、Ｐｙ０とした場合、
【００９０】
【数７】
2004220431.tif 000009
【００９１】
【数８】
2004220431.tif 000010
を用いて、前記ｉ番目の画像に対応する前記表示画面上での座標位置であるＰｘ、Ｐｙを算出することを特徴とする実施態様５に記載の情報入力システム。
【００９２】
［実施態様７］  前記表示画面状での座標位置の変化量ΔＰｘ、ΔＰｙは、所定のゼロ以外の実係数ｋ４、ｋ５を用いて、
ΔＰｘ＝ｋ４×Δθｂ、
ΔＰｙ＝ｋ５×Δθａ、
で表されることを特徴とする実施態様６に記載の情報入力システム。
【００９３】
［実施態様８］  前記座標位置算出手段は、
前記指示装置のリボルビング角の変化量に対応する前記表示画面上での座標位置の変化量をΔＰ＿ｒｏｔとし、ｉ＝０のときの前記表示画面上での座標位置をＰ＿ｒｏｔ＿０とした場合、
【００９４】
【数９】
2004220431.tif 000011
を用いて、前記ｉ番目の画像に対応する前記表示画面上での座標位置Ｐ＿ｒｏｔを算出することを特徴とする実施態様５に記載の情報入力システム。
【００９５】
［実施態様９］  前記表示画面上での座標位置の変化量ΔＰ＿ｒｏｔは、所定のゼロ以外の実係数ｋ６を用いて、
ΔＰ＿ｒｏｔ＝ｋ６×Δθｃ、
で表されることを特徴とする実施態様８に記載の情報入力システム。
【００９６】
［実施態様１０］  ｉ＝０のときの前記表示画面上での座標位置である、Ｐｘ０、Ｐｙ０は、前記指示装置からの所定のコマンドを受信した際の、前記表示画面上での座標位置であることを特徴とする実施態様６に記載の情報入力システム。
【００９７】
［実施態様１１］  ｉ＝０のときの前記表示画面上での座標位置である、Ｐ＿ｒｏｔ＿０は、前記指示装置からの所定のコマンドを受信した際の、前記表示画面上での座標位置であることを特徴とする実施態様９に記載の情報入力システム。
【００９８】
［実施態様１２］  前記指示装置は、複数のスイッチを備え、
前記所定のコマンドは、該スイッチによるスイッチ情報の組み合わせであることを特徴とする実施態様１０または１１に記載の情報入力システム。
【００９９】
［実施態様１３］  前記送信手段は、
算出された前記指示装置のパン角の変化量Δθｂ、前記指示装置のチルト角の変化量Δθａおよび前記指示装置のリボルビング角の変化量Δθｃについての情報を、前記スイッチ情報とともに所定のデータストリームとして再構成し、変調後、電磁波または赤外線により、前記情報処理装置に送信することを特徴とする実施態様１２に記載の情報入力システム。
【０１００】
［実施態様１４］  前記指示装置は、
前記撮像手段により撮像された画像に基づいて、撮像対象領域の明るさを評価する機能を更に備え、
該評価結果をもとに、前記撮像手段の電子シャッター時間の長さを、サンプリングの経過とともに適応的に制御することを特徴とする実施態様１または２に記載の情報入力システム。
【０１０１】
［実施態様１５］  前記指示装置は、
前記撮像手段により撮像された画像を、前記スイッチ情報とともに所定のデータストリームとして再構成し、変調後、電磁波または赤外線により、前記情報処理装置に送信可能であることを特徴とする実施態様１２に記載の情報入力システム。
【０１０２】
［実施態様１６］  前記撮像手段はエリアセンサを備え、
該エリアセンサは回動自在な部材に取り付けられていることを特徴とする実施態様１または２に記載の情報入力システム。
【０１０３】
［実施態様１７］  前記指示装置は携帯電話であることを特徴とする実施態様１または２に記載の情報処理システム。
【０１０４】
［実施態様１８］  指示装置により表示画面上でのポインティング操作を行うことが可能な情報入力方法であって、
画像を撮像する工程と、
前記撮像工程により撮像された複数の画像に基づいて、前記指示装置の姿勢の変化量を算出する変化量算出工程と、
前記算出された変化量を累積し、前記表示画面上での座標位置を算出する座標位置算出工程と、
前記算出された座標位置を前記表示画面上に表示する表示工程と
を備えることを特徴とする情報入力方法。
【０１０５】
【第３の実施形態】
上記各実施形態では、可視光をもとにした画像を用いることとしたが、本発明はこれに限られず、赤外線画像を用いても良い。ここで、可視光を用いた場合と赤外線画像を用いた場合との違いについて簡単に比較する。
【０１０６】
可視光に基づいて取り込まれた画像は、人間がとらえる画像に近い。したがって、上述のように姿勢変化量の入力に用いる他、通常の撮影画像としての使い道が広く残されている。例えば、プレゼンテーションシステムにおいては、通常はペン、ポインタ、またはリモコンとして使用し、必要に応じて使用者の顔画像、資料の撮影画像、サンプルの撮影画像などをその場で取得して、保存、送信することができる。また、可視光を波長選択的に使用するため、例えば、リモコン等の赤外線信号からの妨害が極めて少ないという効果がある。
【０１０７】
これに対して、赤外線画像を用いる場合には、可視光における外乱光が比較的大きい場合、または赤外線領域を含めて外乱光が絶対的に多い場合などに有効である。
【０１０８】
具体的な例としては、例えば、強力な照明装置のある会議室、展示場、店舗、エンタテイメントスペースなどである。かかる外乱光の多い環境においては、エリアセンサの電子シャッターを開く時間を著しく短くし、かつそのタイミングで赤外線をパルス的に照射することにより、取り込み画像のＳＮ比を稼ぐことができる。
【０１０９】
さらに、赤外線画像を用いた場合、ダイナミックレンジが拡大するという優位点もある。可視光の場合、ダイナミックレンジを拡大するためには、エリアセンサの電子シャッター時間の長さを調整するしかない。
【０１１０】
これに対し、赤外線画像を用いた場合には、電子シャッター時間の長さを調整することに加え、さらに、赤外線照射時間の長さを調整したり、赤外線照射の強度を調整したり、赤外線照射の有無を選択したりすることによってもダイナミックレンジの拡大を図ることが可能である。
【０１１１】
以下、赤外線画像を用いた場合について説明する。
【０１１２】
＜情報入力システムの概略＞
図１１Ａは本発明の第３の実施形態にかかる情報入力システムの適用例を示す図である。同図において、ハッチング部分は本実施形態にかかる情報入力システムを構成する指示具１１０１と据え置き側ユニット１１０２である。
【０１１３】
図１１Ａにおいて指示具１１０１はポインティング機能の他、ペン機能、リモコン機能を有していてもよい。据え置き側ユニット１１０２は指示具１１０１から送られるデータを受信しコンピュータないし画像表示装置１００に送る機能を有する。
【０１１４】
指示具１１０１はエリアセンサを備えることを特徴としている。該エリアセンサは、指示具１１０１の前方を撮像するように具え付けられ（図１２のエリアセンサ１１０４参照）、例えば図１１Ｂのような空間にある場合、図１６、図１７のような画像を取り込むことが可能である。
【０１１５】
本実施形態にかかる情報入力システムでは、使用者が指示具１１０１を上下左右に傾ける、ないし回転させて指示具１１０１の姿勢を変化させることにより、オペレーションシステムないしオペレーションシステム上のアプリケーションに対して、座標、座標の変化量、オブジェクトの姿勢ないし姿勢の変化量などを入力することが可能である。
【０１１６】
具体的には、エリアセンサ１１０４によって取り込まれる赤外線画像の並進の動作と回転の動作とを抽出して、指示具１１０１の姿勢変化を求め、これを指示具１１０１より据え置き側ユニット１１０２に送信することによって実現する。
【０１１７】
そして据え置き側ユニット１１０２で指示具１１０１の姿勢変化のデータからコンピュータ乃至画像表示装置１００等に出力する座標、座標の変化量、あるいはアプリケーションソフト上のオブジェクトの回転運動を表すデータを算出する。
【０１１８】
このように本実施形態にかかる情報入力システムでは、赤外線照射のもとでエリアセンサを用いているため、上記第１、２の実施形態同様、レーザを用いて場合のような危険性が皆無であるという特徴がある。
【０１１９】
＜座標の算出方法＞
次に指示具１１０１の動きと取り込まれる赤外線画像の動き、および座標の計算方法について詳細に説明する。なお、説明にあたって用いられる各種パラメータは図１８にまとめて定義している。
【０１２０】
また、指示具１１０１の動きを正確に表現するため、図１３Ａ、図１３Ｂにａ軸、ｂ軸、ｃ軸およびθａ、θｂ、θｃを示す。θａ、θｂ、θｃは指示具１１０１の姿勢を表すものである。
【０１２１】
図１４Ａにコンピュータないし画像表示装置１００における座標Ｐ＝（Ｐｘ、Ｐｙ）を示す（ここでは、表示画面左上端を原点とした場合の例を示している）。
【０１２２】
図１４Ｂに、アプリケーションにおけるオブジェクトの回転位置を示すパラメータθｏｂｊ＿ａ、θｏｂｊ＿ｂ、θｏｂｊ＿ｃを示す。
【０１２３】
図１６（Ａ）、（Ｂ）に取り込み画像におけるＸ軸、Ｙ軸、Ｚ軸、Θｚを定義する。同様に図１６（Ｂ）、図１７（Ｂ）に１サンプルあたりの赤外線画像の動きベクトルＶ＝（Ｖｘ、Ｖｙ）、１サンプルあたりの画像回転量Ｖ＿ｒｏｔとを示す。
【０１２４】
エリアセンサ１１０４はここまでの説明で明らかなように指示具１１０１におけるａｂ面、すなわちｃ軸に垂直な面に、ｃ軸方向を撮像方向として備えつけられている。従って、使用者が指示具１１０１を上方に向けた場合、撮影画像はおよそ下側に移動し（すなわち下方に向けた場合、撮影画像はおよそ上方に移動し）、また、使用者が指示具を右方向に向けた場合、撮影画像はおよそ左方向に移動し（すなわち左方向に向けた場合、撮影画像はおよそ右方向に移動し）、また、ｃ軸に沿ってねじった場合、撮影画像はおよそＺ軸方向に回転移動を行う。
【０１２５】
ここでゼロ以外の所定の実定数としてｋ１、ｋ２、ｋ３、ｋ４、ｋ５、ｋ６、ｋ７、ｋ８、ｋ９を定義し、以下、段階を踏んで計算の手順を説明する。
【０１２６】
まず、指示具１１０１と画像の関係は上述のような位置関係にあるので指示具１１０１の姿勢は下記のように求められる。
Δθｂ＝（−１）×ｋ１×Ｖｘ          式１２＿１
Δθａ＝（−１）×ｋ２×Ｖｙ          式１２＿２
Δθｃ＝（−１）×ｋ３×Ｖ＿ｒｏｔ        式１３
ここで明示的に（−１）をかけるのは、指示具１１０１前方の動きと赤外線画像の動きは直感的に反対方向であると言うことを強調している。この段階でデータ、すなわち（Δθａ、Δθｂ、Δθｃ）はスイッチ情報とあわせてデータストリームとして再構成されて据え置き側ユニット１１０２に送信される。
【０１２７】
次に、これを基に据え置き側ユニット１１０２で、コンピュータ乃至画像表示装置１００等に制御情報として送られるデータが計算される。
【０１２８】
▲１▼まず、前記姿勢情報が、所謂オペレーションシステムにおけるペン入力データとしての座標ないし該座標の１サンプルあたりの変化量である場合、以下のように計算される。座標の変化量は、
ΔＰｘ＝ｋ４×Δθｂ        式１４＿１
ΔＰｙ＝ｋ５×Δθａ        式１４＿２
座標値は所定の基準値をＰｘ０、Ｐｙ０すると、
【０１２９】
【数１０】
2004220431.tif 000012
【０１３０】
【数１１】
2004220431.tif 000013
である。このデータは手書き文字の入力、ポインティング、軌跡入力などに用いられる。
【０１３１】
▲２▼前記姿勢情報が、所謂オペレーションシステムないし該オペレーションシステム上のアプリケーションにおける、ヴァーチャルなパラメータとしての回転位置ないしその変化量である場合、回転の変化量は、
ΔＰ＿ｒｏｔ＝ｋ６×Δθｃ        式１６
所定の基準値をＰ＿ｒｏｔ０とすると、
【０１３２】
【数１２】
2004220431.tif 000014
である。このデータは、回転量によって何らかのレベルを調整する、または切り替えを行うなどのヴァーチャルボリューム、ヴァーチャルスイッチ等に用いられる。
【０１３３】
▲３▼前記姿勢情報が前記オペレーションシステム上のアプリケーションにおけるオブジェクトの姿勢を制御する情報である場合、そのオブジェクトの回転位置の変化量は、
Δθｏｂｊ＿ａ＝ｋ７×Δθａ        式１８＿１
Δθｏｂｊ＿ｂ＝ｋ８×Δθｂ        式１８＿２
Δθｏｂｊ＿ｃ＝ｋ９×Δθｃ        式１８＿３
で求められ、かつ回転位置は所定の基準値をθｏｂｊ＿ａ＿０、θｏｂｊ＿ｂ＿０、θｏｂｊ＿ｃ＿０とすると、
【０１３４】
【数１３】
2004220431.tif 000015
【０１３５】
【数１４】
2004220431.tif 000016
【０１３６】
【数１５】
2004220431.tif 000017
で求められる。このデータは例えば航空機による戦闘ゲームの場合において、航空機を示すオブジェクトの姿勢制御などに用いられる。本実施形態では指示具１１０１を所定の方向を向けた状態で、所定のスイッチないし所定の組み合わせのスイッチを押すことにより、▲１▼の座標値は、
Ｐｘ（ｉ＝０）＝Ｐｘ０          式２０＿１
Ｐｙ（ｉ＝０）＝Ｐｙ０          式２０＿２
に示すように所定の基準値Ｐｘ０、Ｐｙ０に設定され、▲２▼のヴァーチャルパラメータである回転位置は、
Ｐ＿ｒｏｔ（ｉ＝０）＝Ｐ＿ｒｏｔ０          式２１
に示すように所定の基準値Ｐ＿ｒｏｔ０に設定され、▲３▼の姿勢を示す回転位置は
θｏｂｊ＿ａ（ｉ＝０）＝θｏｂｊ＿ａ＿０        式２２＿１
θｏｂｊ＿ｂ（ｉ＝０）＝θｏｂｊ＿ｂ＿０        式２２＿２
θｏｂｊ＿ｃ（ｉ＝０）＝θｏｂｊ＿ｃ＿０        式２２＿３
に示すように基準位置θｏｂｊ＿ａ＿０、θｏｂｊ＿ｂ＿０、θｏｂｊ＿ｃ＿０に設定される。
【０１３７】
以上の説明から明らかなように、制御情報は全ての画像の動き（すなわち変化量）からもとめた指示具１１０１の姿勢の変化量に係数をかけて、積分乃至累積することによって求めることができる。このため、指示具１１０１のわずかな姿勢の変化は、赤外線画像の変化として検知することができ、上記第１の実施形態同様、ポインティングの際の高い分解能および精度を得ることができる。
【０１３８】
また、指示具１１０１の絶対的な方向位置、絶対的な回転位置等を直接検知する必要もなく、常に所定の基準方向、所定の基準回転角に対する相対的な値を求めるものであるため、本実施形態における情報入力システムは任意の方向に向かって、操作することが可能となる。したがって、上記第１の実施形態同様、使用条件が制約されるといった問題もない。
【０１３９】
＜指示具１１０１の構成と動作＞
図１５および図１９を用いて、指示具１１０１の構成と処理の詳細について説明する。
【０１４０】
指示具１１０１は主として、エリアセンサ１１０４と、エリアセンサ１１０４の光学系１１０４＿２、赤外線発光素子２０２、画像信号処理部１１０７、画像メモリ１１０８、メモリ１（１１１０）、指示具ＣＰＵ１１０９、スイッチ（ＳＷ）群１１０６、送信手段１１０５、送信波形処理回路１１１１、小型表示装置１１１５、発光素子駆動波形作成回路２０４とを備える。
【０１４１】
エリアセンサ１１０４は、前述の通り指示具１１０１前方の赤外線画像を捕らえるものであり、光学系１１０４＿２を具える。本実施形態では、通常の撮影機能を持たないので、当該可視光カットフィルターは光学系１１０４＿２に予め内蔵されており、エリアセンサ１１０４で取り込む画像は、可視光カットフィルタを通過した赤外線画像である。
【０１４２】
画像信号処理部１１０７はエリアセンサ１１０４で取得した赤外線画像データを所定のフォーマットに圧縮、変換するブロックであり、本実施形態における指示具１１０１を座標等の入力装置として使う場合には、比較的データ量の少ない画像データ（以下、ＩｍａｇｅＤａｔａ１（ｉ）と称す）を、座標計算用画像データとして１サンプルごとに作成する。一方、本実施形態における指示具１１０１を撮像装置として使う場合には、劣化の少ない比較的サイズの大きい画像データ（以下、ＩｍａｇｅＤａｔａ２と称す）を作成する。
【０１４３】
さらに、該画像信号処理部１１０７では取り込んだ赤外線画像を解析することにより、撮像対象の明るさを評価する機能を具え、明るさ評価データ（以下、ＯｐｔＤａｔａ）を作成する。
【０１４４】
尚、該明るさ評価データは指示具ＣＰＵ１１０９よりエリアセンサ１１０４に送られ、次の１サンプル取り込み時の露光調整（具体的には電子シャッター時間の設定）に利用され、適応的に制御される。
【０１４５】
また、明るさ評価データ（ＯｐｔＤａｔａ）は発光素子駆動波形作成回路２０４にも送られ、発光素子の発光の仕方を制御することに利用され、適応的に制御される（具体的には、発光強度の制御、発光時間の制御に利用される）。
【０１４６】
画像メモリ１１０８は座標計算用画像データ（ＩｍａｇｅＤａｔａ１（ｉ））を保存するメモリであり、画像メモリ１１０８に保存されたｉ番目のデータは次のｉ＋１番目の座標を計算する際に、比較対象である一つ前の画像としての役割を果たす。
【０１４７】
スイッチ群１１０６はスイッチデータ（以下、ＳｗＤａｔａと称す）を入力するための複数のスイッチであり、モード切替、すなわち、姿勢変化量入力機能（座標等入力モード）と、カメラ撮影モードとの切り替え、ならびに座標等入力モード時の基準位置リセット信号の入力、同じく座標等入力モード時のペンアップダウンデータ（ＰｅｎＵｐ／ＤｏｗｎＤａｔａ）等の入力、カメラ撮影モード時のシャッタータイミングの入力、同じくカメラ撮影モード時の画像転送タイミングの入力、および一般的なリモコンとしての信号入力を行うときに用いられる。
【０１４８】
メモリ１（１１１０）は主としてカメラ撮影モード時にすでに撮影した静止画像を保存するのに用いられる所謂不揮発性メモリであり、電源オフ時もデータは保存される。なお、本実施形態では、カメラ撮影モードを持たないので、メモリには各部の姿勢情報のみが保存される。
【０１４９】
小型表示装置１１１５は液晶表示素子などに代表される表示装置である。小型表示装置１１１５はカメラ撮影モードの時には、ファインダ、保存画像、送信画像の確認モニタとして用いられる。また姿勢情報送信時には付帯情報、モード情報などの表示に用いられる。
【０１５０】
送信手段１１０５は、指示具１１０１から据え置き側ユニット１１０２に指示具１１０１の姿勢情報をワイヤレスで送る手段である。ここで指示具１１０１から据え置き側ユニット１１０２に信号を送る手段としては通常、電磁波と赤外線とが考えられる。電磁波を用いる場合は送信手段１１０５は送信アンテナであり、赤外線を用いる場合は送信手段１１０５は所謂赤外線ＬＥＤである。
【０１５１】
本発明においては指示具１１０１を任意の方向で使用可能にするということを目的としているので、送信手段１１０５としては、電磁波を使うことがより望ましく、本実施形態では電磁波を送信手段として選択している。
【０１５２】
送信波形処理回路１１１１は、もとの送信データを所定の規則に従って並べ替え、さらに所定のデータ変調をかけ、送信手段１１０５で送信するための送信波形を作成している。指示具ＣＰＵ１１０９は指示具１１０１全体の制御と画像処理演算、座標等の制御信号の計算およびＳｗＤａｔａの読み出し、送信データの作成等を行っている。以下、指示具ＣＰＵ１１０９による指示具全体の制御をフローチャート図１９Ａ、図１９Ｂを用いて説明する。
【０１５３】
ステップＳ１９０１Ａでは、ＳｗＤａｔａの読み出しを行い、座標等入力モードを認識し、ステップＳ１９０２Ａにおいてエリアセンサ１１０４からｉ番目の赤外線画像を取得する。さらにステップＳ１９０３ＡおよびステップＳ１９０４Ａでは、取得したｉ番目の赤外線画像に基づいて、ＩｍａｇｅＤａｔａ１（ｉ）およびＯｐｔＤａｔａ（ｉ）を作成する。
【０１５４】
ステップＳ１９０５Ａでは、ステップＳ１９０４Ａにおいて作成されたＯｐｔＤａｔａ（ｉ）に基づいてエリアセンサ１１０４に制御信号を送信する（すなわち、次サンプルの電子シャッターの設定を行う）。
【０１５５】
ステップＳ１９０６Ａでは、ステップＳ１９０４Ａにおいて作成されたＯｐｔＤａｔａ（ｉ）に基づいて、発光制御信号を発光素子駆動波形作成回路２０４に送信する（発光制御信号とは、次サンプル撮像時の発光の有無、発光強度、発光時間に関する信号である）。
【０１５６】
ステップＳ１９０７Ａでは、ステップＳ１９０３Ａにおいて作成されたＩｍａｇｅＤａｔａ１（ｉ）を画像メモリ１１０８から読み出し、ステップＳ１９０８Ａで、ＩｍａｇｅＤａｔａ（ｉ−１）とＩｍａｇｅＤａｔａ（ｉ）とを比較し、Δθａ（ｉ）、Δθｂ（ｉ）、Δθｃ（ｉ）を算出する。ステップＳ１９０９Ａでは、ＩｍａｇｅＤａｔａ（ｉ）を画像メモリ１１０８に保存する。
【０１５７】
さらに、ステップＳ１９１０Ａでは、Δθａ（ｉ）、Δθｂ（ｉ）、Δθｃ（ｉ）、ＳｗＤａｔａの各情報とヘッダ、同期信号とに基づいて、所定のフォーマットによるデータストリームを構成する。
【０１５８】
ステップＳ１９１１Ａでは、データストリームに所定の規則に従って変調を施し、据え置き側ユニット１１０２にワイヤレス送信する。
【０１５９】
＜据え置き側ユニットの構成と動作＞
次に、据え置き側ユニット１１０２の構成を説明する。据え置き側ユニット１１０２は主として受信手段１１３１、データ復調部１１３２、データ解読部１１３３、メモリ１１３５、インターフェース１１３６、据え置き側ＣＰＵ１１３４とを具える。受信手段１１３１は指示具１１０１からワイヤレス送信される信号を受信する手段である。
【０１６０】
本実施形態では電磁波を用いているので、受信手段１１３１はアンテナである。赤外線通信を用いて送信される場合は、フォトダイオード等の光電変換素子が用いられる。データ復調部１１３２は送受信のための波形からデジタルデータを検出するためのブロックであり、ＰＬＬによる読み出しクロックの抽出、データの復調等を行う。
【０１６１】
データ解読部１１３３は復調したデータを解読し、データΔθａ、Δθｂ、Δθｃ、ＭｏｄｅＤａｔａ、ＳｗＤａｔａを抽出する、据え置き側ＣＰＵ１１３４は据え置き側ユニット１１０２全体を制御するとともに、ＭｏｄｅＤａｔａからモードの判定を行う、ＳｗＤａｔａからＰｅｎＵｐ／ＤｏｗｎＤａｔａの抽出を行ったり、Δθａ、Δθｂ、ΔθｃからＰｘ（ｉ）、Ｐｙ（ｉ）、Ｐ＿ｒｏｔ（ｉ）、θｏｂｊ＿ａ、θｏｂｊ＿ｂ、θｏｂｊ＿ｃを算出したりする。
【０１６２】
また、インターフェース１１３６を介して、これらのデータをコンピュータまたは画像表示機器１００等の外部機器に出力する機能を持つ。
【０１６３】
図１９Ｂに、据え置き側ユニット１１０２における処理の流れを表すフローチャートを示す。ステップＳ１９０１Ｂでは、赤外線信号の読み出しを行い、ヘッダ信号を受信するまで待機する（ステップＳ１９０２Ｂ）。
【０１６４】
ステップＳ１９０２Ｂにおいてヘッダ信号を受信した場合には、データストリームを解読し（ステップＳ１９０３Ｂ）、ＳｗＤａｔａを抽出する（ステップＳ１９０４Ｂ）。
【０１６５】
ステップＳ１９０５Ｂで、抽出したＳｗＤａｔａが「座標等入力モード」であった場合には、Δθａ（ｉ）、Δθｂ（ｉ）、Δθｃ（ｉ）ならびにＳｗＤａｔａを抽出し、ステップＳ１９０６Ｂにおいて、ＳＵＢ制御情報計算処理を行う（処理の詳細は後述）。
【０１６６】
ステップＳ１９０７Ｂでは、ステップＳ１９０５Ｂで算出された、Ｐ（ｉ）、Ｐ＿ｒｏｔ（ｉ）、ＰｅｎＵｐ／ＤｏｗｎＤａｔａ、ＭｏｄｅＤａｔａをコンピュータまたは画像表示機器１００へ送信する。送信後は再びステップＳ１９０１Ｂに戻る。
【０１６７】
一方、ステップＳ１９０４Ｂにおいて抽出したＳｗＤａｔａが「カメラ撮影モード」であった場合には、ステップＳ１９０８Ｂに進み、画像データおよびＳｗＤａｔａを抽出し、ステップＳ１９０９Ｂにおいて、画像データの再構成ならびにＭｏｄｅＤａｔａの作成を行う。さらに、ステップＳ１９１０Ｂでは、当該画像データ、ＭｏｄｅＤａｔａをコンピュータまたは画像表示機器１００へ送信する。送信後は再びステップＳ１９０１Ｂに戻る。
【０１６８】
図１９Ｃは、ステップＳ１９０６ＢのＳＵＢ制御情報計算処理の詳細を示す図である。ステップＳ１９０１Ｃでは、Δθａ（ｉ）、Δθｂ（ｉ）、Δθｃ（ｉ）およびＳｗＤａｔａを抽出する。ステップＳ１９０２Ｃでは、座標クリア情報を検出したか否かを判定し、検出していない場合には、ステップＳ１９０３Ｃに進み、メモリ１１３５よりＰ（ｉ−１）を読み込む。一方、座標クリア情報を検出した場合には、ステップＳ１９０４Ｃに進み、Ｐ（ｉ−１）にＰ０を代入する。
【０１６９】
次にステップＳ１９０５Ｃでは、回転座標クリア情報を検出したか否かを判定し、検出していない場合には、ステップＳ１９０６Ｃに進み、メモリ１（１１３５）よりＰ＿ｒｏｔ（ｉ−１）を読み出す。一方、回転座標クリア情報を検出していない場合には、ステップＳ１９０７Ｃに進み、Ｐ＿ｒｏｔ（ｉ−１）にＰ＿ｒｏｔ０を代入する。
【０１７０】
ステップＳ１９０８Ｃでは、Ｐ（ｉ）＝Ｐ（ｉ−１）＋ΔＰ（ｉ）より、Ｐの累積値を算出する。さらにステップＳ１９０９Ｃでは、Ｐ＿ｒｏｔ（ｉ）＝Ｐ＿ｒｏｔ（ｉ−１）＋ΔＰ＿ｒｏｔ（ｉ）より、Ｐ＿ｒｏｔの累積値を算出する。
【０１７１】
ステップＳ１９１０Ｃでは、算出されたＰ（ｉ）、Ｐ＿ｒｏｔ（ｉ）を保存し、ステップＳ１９１１Ｃでは、Ｐ（ｉ）、Ｐ＿ｒｏｔ（ｉ）、ＰｅｎＵＰ／ＤｏｗｎＤａｔａ、ならびにＭｏｄｅＤａｔａをコンピュータまたは画像表示機器１００へ送信する。
【０１７２】
以上の説明から明らかなように、本実施形態にかかる情報入力システムによれば、エリアセンサ１１０４により撮像された赤外線画像に基づいて、座標、座標の変化量等を算出することにより、十分な精度を確保することができるうえ、高い分解能を得ることが可能となる。また、レーザ等と異なり、危険性がないうえ、据え置き側に別途カメラ等を設ける必要もなく設置場所の制約等もない。
【０１７３】
更に可視光を用いた場合と比べ、外乱光に強く、ダイナミックレンジも広くとることが可能となる。
【０１７４】
【第４の実施形態】
上記第３の実施形態では、座標等入力モードの処理について説明したが、赤外線を用いた場合も、上記第１、２の実施形態同様、「座標等入力モード」と「カメラ撮影モード」とを切り替えて使用できるような構成としてもよい。以下に詳細を説明する。なお、指示具および据え置き側ユニットの内部構成は、上記第３の実施形態の図１５と同様であるため、説明にあたっては図１５も適宜参照するものとする。
【０１７５】
図２０に本発明の第４の実施形態にかかる情報入力システムにおける指示具２００１（指示装置）を示す。本実施形態においては指示具２００１にあるエリアセンサ２００４は、可動な部材２０１０を介して指示具２００１に固定されている。可動な部材２０１０は指示具２００１の前方よりに、一軸回動機能を備えつつ、かつ電気的に接続された状態で可動接続されている。
【０１７６】
本実施形態においては、かかる機構によりエリアセンサ２００４が指示具２００１前方、上方、下方などを向くことができる。
【０１７７】
また、本実施形態のおいては可視光カットフィルタは図２０の２０１１に示す様に、指示具２００１前面に設置されている。この点では上記第３の実施形態のように可視光カットフィルタがエリアセンサ２００４の光学系に内蔵されている場合とは異なる。本実施形態では、可視光カットフィルタがこのように設置されているので、該エリアセンサ２００４が指示具前方を向いているときは可視光カットフィルタが有効となり、該エリアセンサが指示具上方または下方を向いているときは無効となる。
【０１７８】
したがって、本実施形態においては、コンピュータ乃至画像表示装置１００の制御情報を入力する機能として使う場合には、エリアセンサ２００４を主として図２０（上側図）のように前方に向けることになり、また、カメラ撮影機能として用いる場合には、例えば使用者の顔、表情を写す際には図２０（下側図）のように上方手前方向に向け、例えば前方の対象物を写す際には図２０（上側図）のように前方に向け、例えば机上の書類、サンプル品などを写す場合は下方に向けることとなる。
【０１７９】
かかる構成により、より便利に座標入力機能とカメラ撮影機能とを使い分けることができる。
【０１８０】
また、本実施形態においては、画像メモリ（１１０８）は主としてカメラ撮影モード時にすでに撮影した静止画像を保存するのに用いられる所謂不揮発性メモリであり、電源オフ時もデータは保存される。
【０１８１】
また、本実施形態においては、部材２０１０は該部材の回転に連動するスイッチが備えられ、該スイッチはスイッチ群１１０６を構成する一つとなっている。
【０１８２】
また、該スイッチは指示具２００１の姿勢変化を入力する（コンピュータ乃至画像表示装置の制御情報を入力する）座標等入力モードとカメラ撮影モードとを切り替える機能を有している。
【０１８３】
＜指示具２００１の動作＞
以下、指示具ＣＰＵ１１０９による指示具全体の制御をフローチャート図２１Ａ、図２１Ｂを用いて説明する。
【０１８４】
ステップＳ２１０１Ａでは、ＳｗＤａｔａの読み出しとモードの判定を行う。モードが「カメラ撮影モード」であった場合には、ステップＳ２１０２Ａに進み、ＳＵＢ＿カメラ撮影処理を行う（詳細は後述）。
【０１８５】
一方、モードが「座標等入力モード」であった場合には、ステップＳ２１０３Ａに進み、エリアセンサ１１０４からｉ番目の赤外線画像を取得する。さらに、ステップＳ２１０４ＡおよびステップＳ２１０５Ａでは、取得したｉ番目の赤外線画像に基づいて、ＩｍａｇｅＤａｔａ１（ｉ）およびＯｐｔＤａｔａ（ｉ）を作成する。
【０１８６】
ステップＳ２１０６Ａでは、ステップＳ２１０５Ａにおいて作成されたＯｐｔＤａｔａ（ｉ）に基づいてエリアセンサ２００４に制御信号を送信する（すなわち、次サンプルの電子シャッターの設定を行う）。
【０１８７】
ステップＳ２１０７Ａでは、ステップＳ２１０５Ａにおいて作成されたＯｐｔＤａｔａ（ｉ）に基づいて、発光制御信号を発光素子駆動波形作成回路２０４に送信する（発光制御信号とは、次サンプル撮像時の発光の有無、発光強度、発光時間に関する信号である）。
【０１８８】
ステップＳ２１０８Ａでは、ステップＳ２１０４Ａにおいて作成されたＩｍａｇｅＤａｔａ１（ｉ）を画像メモリ１１０８から読み出し、ステップＳ２１０９Ａで、ＩｍａｇｅＤａｔａ（ｉ−１）とＩｍａｇｅＤａｔａ（ｉ）とを比較し、Δθａ（ｉ）、Δθｂ（ｉ）、Δθｃ（ｉ）を算出する。ステップＳ２１１０Ａでは、ＩｍａｇｅＤａｔａ（ｉ）を画像メモリ１１０８に保存する。
【０１８９】
さらに、ステップＳ２１１１Ａでは、Δθａ（ｉ）、Δθｂ（ｉ）、Δθｃ（ｉ）、ＳｗＤａｔａの各情報とヘッダ、同期信号とに基づいて、所定のフォーマットによるデータストリームを構成する。
【０１９０】
ステップＳ２１１２Ａでは、データストリームに所定の規則に従って変調を施し、据え置き側ユニット１１０２にワイヤレス送信する。
【０１９１】
図２１Ｂは、上記ステップＳ２１０２Ａに示すＳＵＢ＿カメラ撮影処理の詳細を示すフローチャートである。
【０１９２】
ステップＳ２１０１Ｂでは、ＳｗＤａｔａの読み出しを行い、撮影モードであった場合には、ステップＳ２１０２Ｂに進み、シャッターボタンが押されるまで待機する。
【０１９３】
ステップＳ２１０２Ｂにおいて、シャッターボタンが押された場合には、ステップＳ２１０３Ｂに進み、エリアセンサ２００４から赤外線画像を取得し、ステップＳ２１０４ＢにおいてＩｍａｇｅＤａｔａ２を作成し、当該ＩｍａｇｅＤａｔａ２を画像メモリ１１０８に保存する（ステップＳ２１０５Ｂ）。画像メモリ１１０８に保存後は、再びステップＳ２１０１Ｂに戻る。
【０１９４】
一方、ステップＳ２１０１Ｂにおいて、転送モードであった場合には、ステップＳ２１０６Ｂに進み、画像メモリ１１０８からＩｍａｇｅＤａｔａを読み出し、ステップＳ２１０７Ｂにおいて、ＳｗＤａｔａの各情報とヘッダ、同期信号をもとに所定のフォーマットに基づくデータストリームを構成する。
【０１９５】
さらに、ステップＳ２１０８Ｂにおいて、所定の規則に従って、変調を施した後、赤外線乃至電磁波として据え置き側ユニット１１０２に送信する。送信後は再びステップＳ２１０１Ｂに戻る。
【０１９６】
なお、ステップＳ２１０１Ｂにおいて、終了モードであった場合には、ＳＵＢ＿カメラ撮影処理を終了し、図２１Ａに戻る。
【０１９７】
【第５の実施形態】
上記各実施形態では、専用の指示具を用いる場合について説明したが、これに限られず、例えば、上記指示具における機能を携帯電話において実現することも可能である。
【０１９８】
近年、携帯電話はインターネットブラウジング、電子メールの送受信等、多機能化が進んでいる。さらに、画像を取り込む手段としてのエリアセンサにおいては、ＣＭＯＳプロセス等によって製造される比較的省電力、ローコストで所定の性能をもったものが一般化しつつある。そして、小型カメラを備える携帯電話も普及しつつある。したがって、本発明にかかる情報入力システムは、携帯電話や携帯情報端末を指示具として適用することも可能であることはいうまでもない。
【０１９９】
なお、本発明の第３、４、５の実施形態に対応する実施態様の例を以下に列挙する。
【０２００】
［実施態様１９］  指示装置により表示画面上でのポインティング操作を行うことが可能な情報入力システムであって、
赤外線を発光する発光手段と、
赤外線画像を撮像する撮像手段と、
前記撮像手段により撮像された複数の赤外線画像に基づいて、前記指示装置の姿勢の変化量を算出する変化量算出手段と、
前記算出された変化量を累積し、前記表示画面上での座標位置を算出する座標位置算出手段と、
前記算出された座標位置を前記表示画面上に出力するための出力手段と
を備えることを特徴とする情報入力システム。
【０２０１】
［実施態様２０］  表示装置に接続される情報処理装置と、該情報処理装置を介して表示画面上でのポインティング操作を行うための指示装置とを備える情報入力システムであって、
前記指示装置は、
赤外線を発光する発光手段と、
赤外線画像を撮像する撮像手段と、
前記撮像手段により撮像された複数の赤外線画像に基づいて、前記指示装置の姿勢の変化量を算出する変化量算出手段と、
前記算出された変化量を送信する送信手段と、を備え、
前記情報処理装置は、
前記指示装置から送信された変化量を累積し、前記表示画面上での座標位置を算出する座標位置算出手段と、
前記算出された座標位置を前記表示装置に出力する出力手段と
を備えることを特徴とする情報入力システム。
【０２０２】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０２０３】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【０２０４】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０２０５】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０２０６】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２０７】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２０８】
【発明の効果】
以上説明したように本発明によれば、表示画面上でのポインティング操作において、安全で、かつ使用条件に制約のないシステムのもと、ポインティングの分解能ならびに精度を向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態にかかる情報入力システムを示す図である。
【図２】本発明の第１の実施形態にかかる情報入力システムを構成する指示具の前部を示す図である。
【図３Ａ】本発明の第１の実施形態にかかる情報入力システムを構成する指示具の座標計算に用いられるパラメータを定義するための図である。
【図３Ｂ】本発明の第１の実施形態にかかる情報入力システムを構成する指示具の座標計算に用いられるパラメータを定義するための図である。
【図４Ａ】画像表示装置の座標を示す図である。
【図４Ｂ】アプリケーションにおけるオブジェクトの回転位置を示すパラメータθｏｂｊ＿ａ、θｏｂｊ＿ｂ、θｏｂｊ＿ｃを示す図である。
【図５】本発明の第１の実施形態にかかる情報入力システムを構成する指示具ならびに据え置き側ユニットの内部構成を示す図である。
【図６】本発明の第１の実施形態にかかる情報入力システムを構成する指示具により取り込まれた画像を示す図である。
【図７】本発明の第１の実施形態にかかる情報入力システムを構成する指示具により取り込まれた画像を示す図である。
【図８】本発明の第１の実施形態にかかる情報入力システムにおいて用いられる各種パラメータを定義するための図である。
【図９Ａ】本発明の第１の実施形態にかかる情報入力システムを構成する指示具における処理の流れを示す図である。
【図９Ｂ】本発明の第１の実施形態にかかる情報入力システムを構成する指示具における処理の流れを示す図である。
【図９Ｃ】本発明の第１の実施形態にかかる情報入力システムを構成する据え置き側ユニットにおける処理の流れを示す図である。
【図９Ｄ】本発明の第１の実施形態にかかる情報入力システムを構成する据え置き側ユニットにおける処理の流れを示す図である。
【図１０】本発明の第２の実施形態にかかる情報入力システムを構成する指示具を示す図である。
【図１１Ａ】本発明の第３の実施形態にかかる情報入力システムを示す図である。
【図１１Ｂ】本発明の第３の実施形態にかかる情報入力システムを構成する指示具のエリアセンサにより赤外線画像として取り込まれるエリアを示す図である。
【図１２】本発明の第３の実施形態にかかる情報入力システムを構成する指示具の前部を示す図である。
【図１３Ａ】本発明の第３の実施形態にかかる情報入力システムを構成する指示具の座標計算に用いられるパラメータを定義するための図である。
【図１３Ｂ】本発明の第３の実施形態にかかる情報入力システムを構成する指示具の座標計算に用いられるパラメータを定義するための図である。
【図１４Ａ】画像表示装置の座標を示す図である。
【図１４Ｂ】アプリケーションにおけるオブジェクトの回転位置を示すパラメータθｏｂｊ＿ａ、θｏｂｊ＿ｂ、θｏｂｊ＿ｃを示す図である。
【図１５】本発明の第３の実施形態にかかる情報入力システムを構成する指示具ならびに据え置き側ユニットの内部構成を示す図である。
【図１６】本発明の第３の実施形態にかかる情報入力システムを構成する指示具により取り込まれた画像を示す図である。
【図１７】本発明の第３の実施形態にかかる情報入力システムを構成する指示具により取り込まれた赤外線画像を示す図である。
【図１８】本発明の第３の実施形態にかかる情報入力システムにおいて用いられる各種パラメータを定義するための図である。
【図１９Ａ】本発明の第３の実施形態にかかる情報入力システムを構成する指示具における処理の流れを示す図である。
【図１９Ｂ】本発明の第３の実施形態にかかる情報入力システムを構成する据え置き側ユニットにおける処理の流れを示す図である。
【図１９Ｃ】本発明の第３の実施形態にかかる情報入力システムを構成する据え置き側ユニットにおける処理の流れを示す図である。
【図２０】本発明の第４の実施形態にかかる情報入力システムを構成する指示具を示す図である。
【図２１】本発明の第４の実施形態にかかる情報入力システムを構成する指示具における処理の流れを示す図である。
【図２２】本発明の第４の実施形態にかかる情報入力システムを構成する指示具における処理の流れを示す図である。
【図１】
2004220431.tif 000018
【図２】
2004220431.tif 000019
【図３Ａ】
2004220431.tif 000020
【図３Ｂ】
2004220431.tif 000021
【図４Ａ】
2004220431.tif 000022
【図４Ｂ】
2004220431.tif 000023
【図５】
2004220431.tif 000024
【図６】
2004220431.tif 000025
【図７】
2004220431.tif 000026
【図８】
2004220431.tif 000027
【図９Ａ】
2004220431.tif 000028
【図９Ｂ】
2004220431.tif 000029
【図９Ｃ】
2004220431.tif 000030
【図９Ｄ】
2004220431.tif 000031
【図１０】
2004220431.tif 000032
【図１１Ａ】
2004220431.tif 000033
【図１１Ｂ】
2004220431.tif 000034
【図１２】
2004220431.tif 000035
【図１３Ａ】
2004220431.tif 000036
【図１３Ｂ】
2004220431.tif 000037
【図１４Ａ】
2004220431.tif 000038
【図１４Ｂ】
2004220431.tif 000039
【図１５】
2004220431.tif 000040
【図１６】
2004220431.tif 000041
【図１７】
2004220431.tif 000042
【図１８】
2004220431.tif 000043
【図１９Ａ】
2004220431.tif 000044
【図１９Ｂ】
2004220431.tif 000045
【図１９Ｃ】
2004220431.tif 000046
【図２０】
2004220431.tif 000047
【図２１】
2004220431.tif 000048
【図２２】
2004220431.tif 000049