(57)【要約】【課題】磁界、温度等の影響を受けずに安定し、設置スペースをあまり必要とせず、かつディスプレイの種類を問わない３次元位置姿勢入力装置を提供する。【解決手段】カメラ１０１によって撮影された画像を取得する画像取得部２０１と、ディスプレイ１０３に対し任意位置、任意形状にて領域を設定し、その領域を明度変化させて表示させる表示明度制御部２０７と、画像データから明度変化領域を検出し、その領域のディスプレイ上での座標情報と検出されたカメラ視野上での座標情報とを比較して対応する複数の２次元座標の組み合わせを選定する領域検出処理部２０３と、その選定された対応点情報からディスプレイに対するカメラの３次元位置姿勢を算出する位置姿勢演算部２０５とを有し、算出された３次元位置姿勢情報をＯＳ、アプリケーションに逐次入力する。表示明度制御部は明度変化領域をカメラ視野に応じて最適制御する。【選択図】        図２
2004171414.tif 000002
【特許請求の範囲】
【請求項１】
計算機ユニットに接続されたディスプレイに映し出された２次元画像を撮影するセンサ装置の３次元位置姿勢を入力する装置であって、
前記センサ装置によって撮影された画像を取得して前記計算機ユニットに入力可能な画像取得手段と、
前記ディスプレイに対し任意位置、任意形状にて明度変化領域を設定し、設定した該領域を明度変化させて表示させる表示明度制御手段と、
前記画像取得手段から得た画像から前記明度変化領域を検出する画像解析手段と、
表示した前記明度変化領域の前記ディスプレイ上での座標情報と前記画像解析手段によって検出された前記センサ装置の視野上での座標情報とを比較し、該比較結果に基づき、対応する複数の２次元座標の組み合わせを対応点情報として選定する対応点検出手段と、
前記対応点検出手段により得られた前記対応点情報から、前記ディスプレイに対する前記センサ装置の３次元位置姿勢を算出する位置姿勢演算手段と、
前記位置姿勢演算手段で算出された前記センサ装置の３次元位置姿勢情報を前記計算機ユニットに逐次入力する位置姿勢情報入力手段と
を具備することを特徴とする３次元位置姿勢入力装置。
【請求項２】
前記センサ装置は、ＣＣＤカメラ、カメラ付き携帯電話、および家庭用ＶＴＲカメラの少なくともいずれか１つであることを特徴とする請求項１に記載の３次元位置姿勢入力装置。
【請求項３】
前記表示明度制御手段は、前記任意位置、前記任意形状の明度変化領域を前記センサ装置の視野に応じて最適制御することを特徴とする請求項１または２に記載の３次元位置姿勢入力装置。
【請求項４】
前記表示明度制御手段により前記最適制御される任意位置、任意形状の明度変化領域は、前記センサ装置の視野内の矩形領域であることを特徴とする請求項３に記載の３次元位置姿勢入力装置。
【請求項５】
前記表示明度制御手段により最適制御される前記矩形領域は、前記センサ装置の視野内に４頂角が観測可能な位置及び大きさとすることを特徴とする請求項４に記載の３次元位置姿勢入力装置。
【請求項６】
計算機ユニットに接続されたディスプレイに映し出された２次元画像を撮影するセンサ装置の３次元位置姿勢を入力する方法であって、
前記センサ装置によって撮影された画像を取得して前記計算機ユニットに入力可能な画像取得ステップと、
前記ディスプレイに対し任意位置、任意形状にて明度変化領域を設定し、設定した該領域を明度変化させて表示させる表示明度制御ステップと、
前記画像取得ステップで得た画像から前記明度変化領域を検出する画像解析ステップと、
表示した前記明度変化領域の前記ディスプレイ上での座標情報と前記画像解析ステップで検出された前記センサ装置の視野上での座標情報とを比較し、該比較結果に基づき、対応する複数の２次元座標の組み合わせを対応点情報として選定する対応点検出ステップと、
前記対応点検出ステップで得られた前記対応点情報から、前記ディスプレイに対する前記センサ装置の３次元位置姿勢を算出する位置姿勢演算ステップと、
前記位置姿勢演算ステップで算出された前記センサ装置の３次元位置姿勢情報を前記計算機ユニットに逐次入力する位置姿勢情報入力ステップと
を有することを特徴とする３次元位置姿勢入力方法。
【請求項７】
前記センサ装置は、ＣＣＤカメラ、カメラ付き携帯電話、および家庭用ＶＴＲカメラの少なくともいずれか１つであることを特徴とする請求項６に記載の３次元位置姿勢入力方法。
【請求項８】
前記表示明度制御ステップにおいて、前記任意位置、前記任意形状の明度変化領域を前記センサ装置の視野に応じて最適制御することを特徴とする請求項６または７に記載の３次元位置姿勢入力方法。
【請求項９】
前記表示明度制御ステップにおいて前記最適制御される任意位置、任意形状の明度変化領域は、前記センサ装置の視野内の矩形領域であることを特徴とする請求項８に記載の３次元位置姿勢入力方法。
【請求項１０】
前記表示明度制御ステップにおいて最適制御される前記矩形領域は、前記センサ装置の視野内に４頂角が観測可能な位置及び大きさとすることを特徴とする請求項９に記載の３次元位置姿勢入力方法。
【請求項１１】
計算機ユニットに接続されたディスプレイに映し出された２次元画像を撮影するセンサ装置の３次元位置姿勢を該計算機ユニットに入力するための、コンピュータにより読み取り実行可能なプログラムであって、該プログラムは、
前記センサ装置によって撮影された画像を取得して前記計算機ユニットに入力可能な画像取得ステップと、
前記ディスプレイに対し任意位置、任意形状にて明度変化領域を設定し、設定した該領域を明度変化させて表示させる表示明度制御ステップと、
前記画像取得ステップで得た画像から前記明度変化領域を検出する画像解析ステップと、
表示した前記明度変化領域の前記ディスプレイ上での座標情報と前記画像解析ステップで検出された前記センサ装置の視野上での座標情報とを比較し、該比較結果に基づき、対応する複数の２次元座標の組み合わせを対応点情報として選定する対応点検出ステップと、
前記対応点検出ステップで得られた前記対応点情報から、前記ディスプレイに対する前記センサ装置の３次元位置姿勢を算出する位置姿勢演算ステップと、
前記位置姿勢演算ステップで算出された前記センサ装置の３次元位置姿勢情報を前記計算機ユニットに逐次入力する位置姿勢情報入力ステップと
を有することを特徴とするプログラム。
【請求項１２】
前記センサ装置は、ＣＣＤカメラ、カメラ付き携帯電話、および家庭用ＶＴＲカメラの少なくともいずれか１つであることを特徴とする請求項１１に記載のプログラム。
【請求項１３】
前記表示明度制御ステップにおいて、前記任意位置、前記任意形状の明度変化領域を前記センサ装置の視野に応じて最適制御することを特徴とする請求項１１または１２に記載のプログラム。
【請求項１４】
前記表示明度制御ステップにおいて前記最適制御される任意位置、任意形状の明度変化領域は、前記センサ装置の視野内の矩形領域であることを特徴とする請求項１３に記載のプログラム。
【請求項１５】
前記表示明度制御ステップにおいて最適制御される前記矩形領域は、前記センサ装置の視野内に４頂角が観測可能な位置及び大きさとすることを特徴とする請求項１４に記載のプログラム。
【請求項１６】
請求項１１ないし１５のいずれかに記載のプログラムをコンピュータにより読み取り可能に記録したことを特徴とするプログラムを記録した媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、各種情報処理装置あるいはアミューズメント機器等の計算機ユニットに空間的位置および姿勢を入力する時に必要となる３次元位置姿勢入力装置、３次元位置姿勢入力方法、その方法を実現するプログラムおよびそのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
近年のコンピュータの処理速度向上、ＣＧ（コンピュータグラフィックス）技術の発展にともない、３次元的な入力を伴うアブリケーションが急増している。特に、家庭用エンタテーメント機器、ＶＲＭＬ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ  Ｍｏｄｅｌｉｎｇ  Ｌａｎｇｕａｇｅ）を代表とするインターネット上でのアブリケーションにおける３次元入力デバイスの需要増加は顕著である。また、ＣＧ作成、ＣＡＤ（ｃｏｍｐｕｔｅｒ  ａｉｄｅｄ  ｄｅｓｉｇｎ）システムの現場では、その入力デバイスとしてマウス、タブレット等を用いることが多い。位置・姿勢入力を可能とするデバイスには、磁場計測方式、光学式ステレオ方式、音響方式、ジョイスティック方式等のものが市販されている。磁場計測方式および音響方式はともに送信、受信を伴う機器を利用して所望の座標計測を行うものである。また、ジョイスティック方式は精密かつメカニカルな可動部を備え、その可動部の動作情報を３次元位置情報に変換するものである。光学式ステレオ方式は、複数のテレビカメラを用いて、テレビカメラから得られる視差情報より３次元位置情報を得るものである。
【０００３】
また、３個以上の受光素子とディスプレイユニットを用いて、各受光素子の位置と姿勢を求めることで３次元位置情報を得る装置も提案されている（特許文献１、特許文献２）。この提案の装置は廉価なレンズ、少数の受光素子により３次元計測が可能という利点を有している。またこの提案のものは光学的に３次元計測を行うため、磁界、温度等の影響を受けずに安定した３次元入力をすることができるという利点も有している。
【０００４】
また、カメラからの入力情報からそのカメラの３次元位置姿勢を算出する方法としては、非特許文献１、非特許文献２等が知られている。
【０００５】
【特許文献１】
特許第３２９９４４１号公報（特開平９−３２５００７号公報）
【０００６】
【特許文献２】
特開２００１−１７５４０５号公報
【０００７】
【非特許文献１】
加藤晃市他“能動的図形更新によるカメラキャリブレーション”電子情報通信学会、信学技報、ＰＲＵ９４−１１２（１９９５−０１）、３９〜４６頁
【０００８】
【非特許文献２】
出口光一郎“射影幾何学によるＰｎＰカメラ問題の統一的解法”情報処理学会「コンピュータビジョン’９０ビジョンと環境理解シンポジウム」論文集、Ｖｏｌ．９０  ｐｐ４１−５０、１９９０
【０００９】
【発明が解決しようとする課題】
しかしながら、上記のような３次元入力装置として従来から市販されているものは、磁場計測方式の装置では、空間中の磁湯変動を計測するために、金属部品、電子機器、地磁気の影響を受けるという点がある。また、音響方式の装置は、音波の位相あるいは到達時間を計測するため、気圧、温度の影響を受けるという点がある。また両者とも発信装置および受信装置を必要とし、装置規模が大がかりとなる。さらに、ジョイスティック方式では並行移動と回転運動を独立して行わなくてはならず、直観的な３次元入力には適さない。また、３個以上の受光素子とディスプレイユニットを用いて受光素子の位置と姿勢を求める装置は、何らかの走査によって描画されるディスプレイ装置を前提としているため、液晶ディスプレイ、プラズマディスプレイ等へは適用できないという点がある。
【００１０】
本発明は、上述のような従来技術の課題に鑑みてなされたもので、その目的は、磁界、温度等の影響を受けずに安定し、設置スペースをあまり必要とせず、かつディスプレイの種類を問わない直観的な３次元位置姿勢入力装置、３次元位置姿勢入力方法、その方法を実現するプログラムおよびそのプログラムを記録した記録媒体を提供することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、本発明の３次元位置姿勢入力装置は、計算機ユニットに接続されたディスプレイに映し出された２次元画像を撮影するセンサ装置の３次元位置姿勢を入力する装置であって、前記センサ装置によって撮影された画像を取得して前記計算機ユニットに入力可能な画像取得手段と、前記ディスプレイに対し任意位置、任意形状にて明度変化領域を設定し、設定した該領域を明度変化させて表示させる表示明度制御手段と、前記画像取得手段から得た画像から前記明度変化領域を検出する画像解析手段と、表示した前記明度変化領域の前記ディスプレイ上での座標情報と前記画像解析手段によって検出された前記センサ装置の視野上での座標情報とを比較し、該比較結果に基づき、対応する複数の２次元座標の組み合わせを対応点情報として選定する対応点検出手段と、前記対応点検出手段により得られた前記対応点情報から、前記ディスプレイに対する前記センサ装置の３次元位置姿勢を算出する位置姿勢演算手段と、前記位置姿勢演算手段で算出された前記センサ装置の３次元位置姿勢情報を前記計算機ユニットに逐次入力する位置姿勢情報入力手段とを具備することを特徴とする。
【００１２】
ここで、前記センサ装置は、ＣＣＤカメラ、カメラ付き携帯電話、および家庭用ＶＴＲカメラの少なくともいずれか１つであることを特徴とすることができる。
【００１３】
また、前記表示明度制御手段は、前記任意位置、前記任意形状の明度変化領域を前記センサ装置の視野に応じて最適制御することを特徴とすることができる。
【００１４】
また、前記表示明度制御手段により前記最適制御される任意位置、任意形状の明度変化領域は、前記センサ装置の視野内の矩形領域であることを特徴とすることができる。
【００１５】
また、前記表示明度制御手段により最適制御される前記矩形領域は、前記センサ装置の視野内に４頂角が観測可能な位置及び大きさとすることを特徴とすることができる。
【００１６】
上記目的を達成するために、本発明の３次元位置姿勢入力方法は、計算機ユニットに接続されたディスプレイに映し出された２次元画像を撮影するセンサ装置の３次元位置姿勢を入力する方法であって、前記センサ装置によって撮影された画像を取得して前記計算機ユニットに入力可能な画像取得ステップと、前記ディスプレイに対し任意位置、任意形状にて明度変化領域を設定し、設定した該領域を明度変化させて表示させる表示明度制御ステップと、前記画像取得ステップで得た画像から前記明度変化領域を検出する画像解析ステップと、表示した前記明度変化領域の前記ディスプレイ上での座標情報と前記画像解析ステップで検出された前記センサ装置の視野上での座標情報とを比較し、該比較結果に基づき、対応する複数の２次元座標の組み合わせを対応点情報として選定する対応点検出ステップと、前記対応点検出ステップで得られた前記対応点情報から、前記ディスプレイに対する前記センサ装置の３次元位置姿勢を算出する位置姿勢演算ステップと、前記位置姿勢演算ステップで算出された前記センサ装置の３次元位置姿勢情報を前記計算機ユニットに逐次入力する位置姿勢情報入力ステップとを有することを特徴とする。
【００１７】
上記目的を達成するために、本発明のプログラムは、計算機ユニットに接続されたディスプレイに映し出された２次元画像を撮影するセンサ装置の３次元位置姿勢を該計算機ユニットに入力するための、コンピュータにより読み取り実行可能なプログラムであって、該プログラムは、前記センサ装置によって撮影された画像を取得して前記計算機ユニットに入力可能な画像取得ステップと、前記ディスプレイに対し任意位置、任意形状にて明度変化領域を設定し、設定した該領域を明度変化させて表示させる表示明度制御ステップと、前記画像取得ステップで得た画像から前記明度変化領域を検出する画像解析ステップと、表示した前記明度変化領域の前記ディスプレイ上での座標情報と前記画像解析ステップで検出された前記センサ装置の視野上での座標情報とを比較し、該比較結果に基づき、対応する複数の２次元座標の組み合わせを対応点情報として選定する対応点検出ステップと、前記対応点検出ステップで得られた前記対応点情報から、前記ディスプレイに対する前記センサ装置の３次元位置姿勢を算出する位置姿勢演算ステップと、前記位置姿勢演算ステップで算出された前記センサ装置の３次元位置姿勢情報を前記計算機ユニットに逐次入力する位置姿勢情報入力ステップとを有することを特徴とする。
【００１８】
上記目的を達成するために、本発明のプログラムを記録した媒体は、上記プログラムをコンピュータにより読み取り可能に記録したことを特徴とする。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２０】
図１は、本発明の一実施形態である３次元位置姿勢入力システムの概略構成を示す。図１中、１０１はビデオカメラ、１０３はデイスプレイ、２００は３次元位置姿勢入力装置の機能を有する計算機である。カメラ１０１をディスプレイ１０３に対面させ、ディスプレイ１０３に対するカメラの位置、回転等の３次元位置姿勢情報を計算機２００の本体に入力する。
【００２１】
図２に上記３次元位置姿勢入力システムの詳細構成を示す。本システムは、ビデオカメラ１０１、ディスプレイ１０３、計算機２００から構成され、計算機２００はその内部に、画像取得部２０１、領域検出処理部２０３、位置姿勢演算部２０５、および表示明度制御部２０７を有する。なお、これら画像取得部２０１、領域検出処理部２０３、位置姿勢演算部２０５、および表示明度制御部２０７は計算機２００に対して独立した専用ユニットであってもよい。
【００２２】
ビデオカメラ１０１によって観測された画像の２次元情報は、画像取得部２０１を介して領域検出処理部２０３に送信される。
【００２３】
領域検出処理部２０３では、その画像情報からビデオカメラ１０１のカメラ視野内の明度変化領域を検出し、その検出結果から明度を制御する領域を設定し、かつその明度変化領域の対応点の座標検出処理を行う。その設定した明度を制御する領域の座標情報は領域検出処理部２０３から表示明度制御部２０７へ送信され、その検出された対応点の座標情報は、領域検出処理部２０３から位置姿勢演算部２０５へ送信される。
【００２４】
表示明度制御部２０７では、領域検出処理部２０３から送られてきた明度を制御する座標情報を入力情報としてディスプレイ１０３の明度制御を行う。
【００２５】
位置姿勢演算部２０５では、領域検出処理部２０３から送られてきた対応点の座標情報によりカメラ１０１の位置姿勢を算出し、算出した位置姿勢の座標情報を計算機２００内部のＯＳ（オペレーションシステム）あるいはアブリケーションに送信する。
【００２６】
図３のフローチャートは上記の領域検出処理部２０３と位置姿勢演算部２０５の処理フローの内容を示す。領域検出処理部２０３では、画像取得部２０１から送信されてくるカメラ１０１によって観測された画像を入力情報として、以下に記載の流れに従った処理を行う。（なお：以下に記載の変数Ｎ，Ｍ，Ｌ，Ｐ，Ｘｓ，Ｙｓの初期値は０とする。）
ステップ３０１：  画像取得部２０１から画像を受信して、その画像ＩＤをＮとしてその画像を内部メモリに格納する。
ステップ３０２：  明度変化領域スタート位置の座標を（Ｘｓ，  Ｙｓ）とし、領域幅Ｗとして明度変更のコマンドを表示明度制御部２０７へ送信する。
ステップ３０３：  Ｎに１を加える。
ステップ３０４：  Ｎが１以下の場合、ステップ３０１へ戻り、それ以外はステップ３０５へ移行する。
ステップ３０５：  Ｎに０を代入する。
ステップ３０６：  画像ＩＤ（Ｎ＝）：０及び１の画像の差分処理を行う。
ステップ３０７：  ステップ３０６にて生成された差分画像を閾値ｔｈで二値化処理を行い、明度変化領域の面積Ｓを算出する。閾値ｔｈは予め設定されているものとする。
ステップ３０８：  面積Ｓが一定の規定値Ｓａ以下であれば、ステップ３０９へ移行し、それ以外はステップ３１５へ移行する。
ステップ３０９：  後述（図５）の頂点検出処理を行い、各頂点の重心座標を検出する。
ステップ３１０：  Ｐに１を加える。
ステップ３１１：  Ｐが４以下の場合はステップ３０９へ戻り、それ以外はステップ３１２へ移行する。
ステップ３１２：  Ｐに０を代入する。
ステップ３１３：  対応点検出が４点全て検出された場合は、ステップ３１４へ移行し、それ以外はステップ３１５へ移行する。
ステップ３１４：  検出された４点の重心座標及びステップ３０９において設定されたディスプレイ１０３上での明度変化領域の座標の組から（図５で詳述する）、ディスプレイに対するカメラ１０１の位置姿勢を算出する。その算出結果はＯＳあるいはアブリケーションに送信し、ステップ３０９へ戻る。
ステップ３１５：  Ｍが１よりも大きい場合はステップ３１７へ移行し、それ以外はステップ３１６へ移行する。
ステップ３１６：  ＸｓにＸｓ＋Ｗとし代入する。ここで、Ｗは予め設定されているものとする。
ステップ３１７：  Ｌが０より大きい場合はステップ３１８へ移行し、それ以外はステップ３１９へ移行する。
ステップ３１８：  Ｌに１を代入する。ステップ３０１へ戻る。
ステップ３１９：  ＹｓにＹｓ＋Ｗとし代入する。
ステップ３２０：  Ｌに０を代入、ＭにＭ＋１として代入する。
ステップ３２１：  Ｍが２より大きい場合はステップ３２２へ移行し、それ以外はステップ３０１へ戻る。
ステップ３２２：  Ｍに０を代入する。
ステップ３２３：  ＷにＷ／２として代入する。ステップ３０１に戻る。
【００２７】
また、ステップ３１４におけるカメラ１０１の位置姿勢の算出処理では、非特許文献１、非特許文献２等に示されているような周知の演算手法でカメラの３次元位置及び姿勢を計算し出力する。
【００２８】
図４は図３のステップ３０１−３０８、ステップ３１５−３２３のフローによって制御されるディスプレイの表示状態及び差分処理によって検出される明度変化領域を示す。図４の（Ａ）は（Ｘｓ，Ｙｓ）をスタート位置とした領域幅Ｗの明度変化領域を示し、図４の（Ｂ）は（Ｘｓ＋Ｗ，Ｙｓ）をスタート位置とした領域幅Ｗの明度変化領域を示し、図４の（Ｃ）は（Ｘｓ，Ｙｓ＋Ｗ）をスタート位置とした領域幅Ｗの明度変化領域を示し、図４の（Ｄ）は（Ｘｓ＋Ｗ，Ｙｓ＋Ｗ）をスタート位置とした領域幅Ｗの明度変化領域を示す。
【００２９】
さらに、図４の（Ｅ）はカメラ１０１によってディスプレイ１０３を観測した場合の画像の一例を示し、図４の（Ｆ）は前述の図３中のステップ３０６−３０７の処理によって生成された差分領域を示す。
【００３０】
図４の（Ｆ）の図中の白領域の面積Ｓを図３中のステップ３０７で算出し、図３中のステップ３０８以降に処理を移す。図３中のステップ３０１−３０８、ステップ３１５−３２３では、算出した変化領域の面積Ｓが予め設定された検出規定面積Ｓａ以下となるまで、図４の（Ａ）−（Ｄ）の明度変化領域４０１−４０４の移動及び領域幅Ｗの縮小を繰り返す。算出した明度変化領域の面積Ｓが検出規定面積Ｓａ以下となった場合には、図３中のステップ３０９−３１４の対応点検出処理に移行する。（なお、Ｓａはセンサ装置であるカメラ１０１の視野内にすべて納まるような面積とする。）
【００３１】
図５のフローチャートは図３中のステップ３０９における対応点検出処理の詳細を示す。具体的には以下のステップによって処理を行う。
ステップ５０１：  Ｐ＝０であればステップ５０２へ移行し、それ以外はステップ５０３へ移行する。
ステップ５０２：  中心座標（Ｘｓ，Ｙｓ）半径Ｒの明度変化領域設定して、ステップ５０９へ移行する。
ステップ５０３：  Ｐ＝１であればステップ５０４へ移行し、それ以外はステップ５０５へ移行する。
ステップ５０４：  中心座標（Ｘｓ，Ｙｓ＋Ｗ）半径Ｒの明度変化領域設定して、ステップ５０９へ移行する。
ステップ５０５：  Ｐ＝２であればステップ５０６へ移行し、それ以外はステップ５０７へ移行する。
ステップ５０６：  中心座標（Ｘｓ＋Ｗ，Ｙｓ）半径Ｒの明度変化領域設定して、ステップ５０９へ移行する。
ステップ５０７：  Ｐ＝３であればステップ５０８へ移行し、それ以外はステップ５０９へ移行する。
ステップ５０８：  中心座標（Ｘｓ＋Ｗ，Ｙｓ＋Ｗ）半径Ｒの明度変化領域設定して、ステップ５０９へ移行する。
ステップ５０９：  画像ＩＤ：（Ｎ＝）０及びステップ５０２，５０４，５０６，５０８にて生成され観測された画像との差分処理を行う。
ステップ５１０：  ステップ５０９によって生成された差分画像を閾値ｔｈで二値化処理を行い変化領域の重心座標を算出する。ここで、閾値ｔｈは予め設定されているものとする。
【００３２】
図６は図５のステップ５０２，５０４，５０６，５０８のフローによって制御されるディスプレイの状態及び差分処理によって検出される各々の明度変化領域を示す。図６の（Ａ）は中心座標（Ｘｓ，Ｙｓ）半径Ｒの明度変化領域設定時のカメラ観測画像、図６の（Ｂ）は中心座標（Ｘｓ，Ｙｓ＋Ｗ）半径Ｒの明度変化設定時のカメラ観測画像、図６の（Ｃ）は中心座標（Ｘｓ＋Ｗ，Ｙｓ）半径Ｒの明度変化領域設定時のカメラ観測画像、図６の（Ｄ）は中心座標（Ｘｓ＋Ｗ，Ｙｓ＋Ｗ）半径Ｒの明度変化領域設定時のカメラ観測画像を示す。
【００３３】
また、図６の（Ｅ）−（Ｈ）は図６の（Ａ）−（Ｄ）で観測されたカメラ観測画像を、ステップ５０９の処理によって生成された差分領域を示す。上記のステップ５１０において図６の（Ｅ）−（Ｈ）中の白領域（白丸）の重心位置を算出し、図３中のステップ３１０に処理を移す。以上の処理を図３中のステップ３０９−３１１で４回繰り返し、カメラ視野内に収まる矩形領域４頂点のカメラ画像面上での座標
Ｐｃｎ＝（Ｘｃｎ，Ｙｃｎ，ｆ）
［但し、ｎ＝１，２，３，４］
を得る。ここでｆは、カメラ焦点距離であり、予め計測しておくものとする。
【００３４】
図５のステップ５０２，５０４，５０６，５０８の処理によって明度変化を行った座標をＰｄ１＝（Ｘｓ，Ｙｓ，０），Ｐｄ２＝（Ｘｓ，Ｙｓ＋Ｗ，０），Ｐｄ３＝（Ｘｓ＋Ｗ，Ｙｓ，０），Ｐｄ４＝（Ｘｓ＋Ｗ，Ｙｓ＋Ｗ，０）とすると、以下の関係式（１）が成立する。
【００３５】
【数１】
2004171414.tif 000003
【００３６】
４組のＰｃｎ，Ｐｄｎから上式（１）のａｍｎ，ｔｎ［ｍ，ｎ＝１，２，３，４］が線形方程式の解として得られる。図７に位置及び姿勢に関するパラメータを図示する。図７中に示すように、位置に関して（Ｘ，Ｙ，Ｚ）＝（ｔ１，ｔ２，ｔ３）、姿勢に関して、ａｍｎ＝Ｒｍｎ（θ，φ，Ψ）［ｍ，ｎ＝１，２，３，４］が計算されることとなる。ここで（θ，φ，Ψ）及びｔｎは、カメラ１０１のディスプレイ１０３に対する回転及び位置に相当し、本発明の目的である６自由度の位置姿勢を算出することが可能となる。
【００３７】
（他の実施の形態）
上述した本発明の実施形態では、ディスプレイ上に矩形領域及び円領域を明度変化させて表示し、その明度変化領域の位置座標を求めたが、ディスプレイ上に描かれる図形は３角形、楕円、或いは、そのほかの多角形、線分であってもよい。
【００３８】
また、本発明は専用のユニット構成だけでなく、パーソナルコンピュータのような汎用のコンピュータとプログラムによっても実現でき、そのプログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
【００３９】
【発明の効果】
以上説明したように、本発明によれば、汎用の計算機ユニットとセンサ装置を用い、そのセンサ装置として一般的なＣＣＤカメラ、カメラ付き携帯電話、家庭用ＶＴＲカメラ等を利用するのみで３次元位置姿勢入力装置を実現するようにしたので，設置スペースをあまり必要とせず、さらに磁界、温度等の影響を受けずに安定して直感的な位置姿勢入力を行える効果を奏する。
【００４０】
また、本発明によれば、表示明度制御手段において設定される任意位置、任意形状の明度変化領域をセンサ装置の視野に応じて最適に制御するようにしたので、ＣＲＴ等の走査を伴うディスプレイのみでなく、液晶ディスプレイや、プラズマディスプレイ等のディスプレイへの適用が可能となる３次元位置姿勢入力装置を提供することができる効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施形態における３次元位置姿勢入力システムの概略外観を示す斜視図である。
【図２】図１の計算機内のシステム構成を示すブロック図である。
【図３】図２の計算機内の領域検出処理部と位置姿勢演算部の処理動作の流れを示すフローチャートである。
【図４】本発明の一実施形態における矩形領域変更処理の領域制御例を示す正面図である。
【図５】本発明の一実施形態における対応点検出の頂点検出処理の流れを示すフローチャートである。
【図６】図５における頂点検出処理での領域制御の一例を示す模式図である。
【図７】本発明の一実施形態における位置姿勢に関するパラメータを示す説明図である。
【符号の説明】
１０１  カメラ（ビデオカメラ）
１０３  ディスプレイ
２００  計算機
２０１  画像取得部
２０３  領域検出処理部
２０５  位置姿勢演算部
２０７  表示明度制御部
４０１−４０４  明度変化領域
【図１】
2004171414.tif 000004
【図２】
2004171414.tif 000005
【図３】
2004171414.tif 000006
【図４】
2004171414.tif 000007
【図５】
2004171414.tif 000008
【図６】
2004171414.tif 000009
【図７】
2004171414.tif 000010