(57)【要約】【課題】  投影装置を斜め方向から利用した場合でも高い精度で指示位置を求めることができる位置・方向計測システムを提供する。【解決手段】  この位置・方向計測システムは、同心円模様１を投影する投影装置（ポインター）２と、同心円模様１を撮像する少なくとも３個の撮像装置（センサー）３〜５と、撮像装置３〜５が撮像した画像から投影装置２の３次元位置およびその光軸方向角度を算出する演算装置６とを備える。算出した投影装置の３次元位置およびその光軸方向角度から得られる投影装置２の光軸７と、同心円模様を投影した対象物８との交点を投影装置２の指示点９とする。【選択図】  図１
2007198810.tif 000002
【特許請求の範囲】
【請求項１】
同心円模様を投影する投影装置と、前記同心円模様を撮像する少なくとも３個の撮像装置と、前記撮像装置が撮像した画像から前記投影装置の３次元位置およびその光軸方向角度を算出する演算装置とを備えたことを特徴とする位置・方向計測システム。
【請求項２】
前記演算装置が、前記撮像装置により撮像された同心円模様のピッチおよびその接線方向に基づいて、前記投影装置の３次元位置およびその光軸方向角度を算出することを特徴とする請求項１に記載の位置・方向計測システム。
【請求項３】
前記少なくとも３個の撮像装置が、前記同心円模様が投影される範囲において任意の３次元位置に配置され、任意の撮像面方位で設置されることを特徴とする請求項１または２に記載の位置・方向計測システム。
【請求項４】
前記算出した投影装置の３次元位置およびその光軸方向角度から得られる前記投影装置の光軸と、前記同心円模様を投影した対象物との交点を前記投影装置の指示点とすることを特徴とする請求項１〜３のいずれかに記載の位置・方向計測システム。
【請求項５】
同心円模様を投影する投影装置と、前記投影装置の光軸の傾きにより前記同心円模様を多重楕円模様として撮像する、投影平面上またはそれに平行な平面上に設置された少なくとも３個の撮像装置と、前記撮像装置が撮像した画像から前記多重楕円模様を構成する楕円の２個の焦点のうち前記投影装置に近い方の焦点を前記投影装置の指示点として算出する演算装置とを備えたことを特徴とする位置・方向計測システム。
【請求項６】
前記投影装置が移動物体に取り付けられていることを特徴とする請求項１〜５のいずれかに記載の位置・方向計測システム。
【請求項７】
前記移動物体が人間であることを特徴とする請求項６に記載の位置・方向計測システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影装置より投影された同心円模様を撮像装置で撮像し、この撮像画像に基づいてその位置、方向あるいは指示点を計測する位置・方向計測システムに関する。
【背景技術】
【０００２】
従来から、位置計測システムは各種のものが提案されているが、例えば特許文献１に記載されているシステムは、同心円模様を投影する投影装置と、投影装置から投影された同心円模様を撮像する撮像装置と、撮像装置から得られた信号に基づいて対象物に投影された同心円模様の中心位置座標を求める演算装置とを備え、この中心位置座標を対象点の位置座標として計測する。このシステムは例えばポインターや位置情報システムなどに利用することができる。具体的には、例えば、投影装置をポインターとして用いるポインターシステムをコンピュータへの入力インタフェースとして利用することができる。これは、計測したポインターの指示位置（指示点）をパソコン等のコンピュータ画面上にカーソルとして表示し、ポインターの移動に応じてカーソルを移動させることができるようにしたものである。
【０００３】
従来提案されているポインターシステムは同心円模様を投影する装置をポインター本体として利用し、センサー（撮像装置）をポインターで指示される対象物の近傍に設置している。例えば、ポインターをコンピュータ画面のカーソル移動に適用する場合には、画面側に複数のセンサーを設置し、ユーザーが保持するポインター側に同心円模様の投影装置を設けていた。この方法では、投影された同心円模様が真円であると仮定して、その中心位置をセンサーの撮像画像から計算している。画面のほぼ正面からポインターを利用している場合にはこれでよいが、斜め方向からポインターを利用した場合には同心円模様は多重楕円に変形しているので、位置精度が低下してしまう。
【特許文献１】特開２００４−２８９７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記のように、従来のポインターシステムでは、複数のセンサーを設置した面に対しておおむね正面から利用することを想定していたために、ポインターを斜め方向から利用した場合には検出した指示位置の精度が低下するという問題があった。
【０００５】
従って本発明の目的は、投影装置を斜め方向から利用した場合でも高い精度で指示位置を求めることができる位置・方向計測システムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的は、同心円模様を投影する投影装置と、前記同心円模様を撮像する少なくとも３個の撮像装置と、前記撮像装置が撮像した画像から前記投影装置の３次元位置およびその光軸方向角度を算出する演算装置とを備えた位置・方向計測システムにより、達成される。
【０００７】
ここで、前記演算装置は、前記撮像装置により撮像された同心円模様のピッチおよびその接線方向に基づいて、前記投影装置の３次元位置およびその光軸方向角度を算出することができる。また、前記少なくとも３個の撮像装置は、前記同心円模様が投影される範囲において任意の３次元位置に配置され、任意の撮像面方位で設置され得る。さらに、前記算出した投影装置の３次元位置およびその光軸方向角度から得られる前記投影装置の光軸と、前記同心円模様を投影した対象物との交点を前記投影装置の指示点とすることができる。
【０００８】
また、本発明に係る位置・方向計測システムは、同心円模様を投影する投影装置と、前記投影装置の光軸の傾きにより前記同心円模様を多重楕円模様として撮像する、投影平面上またはそれに平行な平面上に設置された少なくとも３個の撮像装置と、前記撮像装置が撮像した画像から前記多重楕円模様を構成する楕円の２個の焦点のうち前記投影装置に近い方の焦点を前記投影装置の指示点として算出する演算装置とを備えたものである。
前記投影装置は移動物体に取り付けることができ、前記移動物体は人間とすることができる。
【発明の効果】
【０００９】
本発明によれば、対象物に対して斜め方向から投影装置を利用した場合においても、高精度に投影装置の指示位置を計測することができる位置・方向計測システムを得ることができる。
【発明を実施するための最良の形態】
【００１０】
図１は、本発明に係る位置・方向計測システムの一例を示す構成図である。この位置・方向計測システムは位置または方向またはその両者を計測するシステムであり、図示のように、同心円模様１を投影する投影装置（ポインター）２と、同心円模様１を撮像する少なくとも３個の撮像装置（センサー）３〜５と、センサー３〜５で撮像した画像から投影装置２の３次元位置およびその光軸方向角度を算出する演算装置６とを備える。ポインター２の構成例については後述する。センサー３〜５は、例えばＣＣＤを用いたイメージセンサーを用いることができる。演算装置６は、例えばパソコン（ＰＣ）等のコンピュータを用いることができる。また、演算装置６は、後述するように、例えば、センサー３〜５により撮像された同心円模様のピッチおよびその接線方向に基づいて、投影装置の３次元位置（ｘ，ｙ，ｚ）およびその光軸方向角度（θｘ，θｙ，θｚ）を算出することができる。センサー３〜５は、同心円模様１が投影される範囲において任意の３次元位置に配置することができ、また任意の撮像面方位で設置することができる。ポインター２の３次元位置とその光軸方向角度から得られるポインター２の光軸７と、同心円模様１を投影した対象物（ディスプレイ画面）８との交点を指示点９とする。これにより、本発明では、ディスプレイ画面８の斜め方向からポインター２を用いても、ポインター２の光軸７とディスプレイ画面８との交点を指示点９としてカーソルをディスプレイ画面上で高精度に表示し、あるいは移動させることができる。なお、演算装置６は各センサー３〜５およびディスプレイ画面８と無線または有線で接続されている。
【００１１】
図２（ａ）は本発明に係る位置・方向計測システムで用いることができるポインターの構成例を示す図であり、（ｂ）はポインターを構成する干渉レンズの一例を示す図である。ポインターは、図２（ａ）に示すように、光源として８５０ｎｍ波長の光を出射する半導体レーザ２ａと、その光を平行光にするコリメータレンズ１ｃと、この平行光を同心円模様（干渉模様）１として照射する光学レンズ（干渉レンズ）１−３とを備える。干渉レンズ１−３は、例えば光軸に窪みのある光軸対象のリング形状レンズを用いる。図２（ｂ）において、レンズ１−３はレンズの断面図を示し、レンズ１−３ｕはレンズを光源方向から見た正面図を示すものである。前面のリング状凸面は、ｃ＝０．３＊（ａ−１．５）＾１．５５の断面を持つ非球面レンズとした。ここで、ｃは光軸であり、ａは光軸に垂直でレンズの半径方向の軸とした。後面の凹レンズは曲率半径−６２ｍｍの球面レンズとした。レンズ直径はΦ６ｍｍで、光軸上のレンズ厚さ３ｍｍ、屈折率１．５１とした。
【００１２】
図２（ａ）において、半導体レーザ２ａから放射された光はコリメータレンズ１ｃを介して前面リング凸面／後面凹面の干渉レンズ１−３に入射する。光軸より上側を通過した光はディスプレイ画面８に光線軌跡２−３−１を経由して照射される。同様に、光軸より下側を通過した光はディスプレイ画面８に光線軌跡２−３−２を経由して照射される。ディスプレイ８の同一点（干渉点）１に到達した光は、同一光源より発せられたレーザ光であるので干渉する。このように、一つの光源から放出されたレーザ光は光軸上平面において仮想的に２点の光源２−１、２−２から放出されたレーザ光であるように、ディスプレイ画面に投影される。本例では、点光源の光をコリメータレンズを用いて平行光とし、これを上記レンズに入射させているが、平行光は、無限遠の光源と考えることができ、この無限遠の光源を上記レンズにより、仮想的に２点の光源としている。
【００１３】
干渉レンズ後面から距離３ｍの設置した光軸に垂直な平面（ディスプレイ画面）に投影される同心円干渉模様は、図３（ａ）、（ｂ）に示すように、その同心円中心から外周部に至るまで、そのピッチが全て０．８１６ｍｍになることがシミュレーション結果から分かった。即ち、光源の光軸と平面が垂直であれば、干渉模様のピッチは平面内ではどこでもほぼ同じになることが判明した。このシミュレーション結果は実際の実験結果からも確認できた。ポインター２の３次元位置（ｘ，ｙ，ｚ）とその光軸方向角度（θｘ，θｙ，θｚ）から得られるポインター２の光軸７と、同心円模様１を投影したディスプレイ画面８との交点を指示点９とする。以下、この指示点の求め方について説明する。
【００１４】
（実施例１）
図４は、ポインターから出射される同心円模様を撮像装置（センサー）で検出することによりポインターの３次元位置（ｘ０，ｙ０，ｚ０）とその光軸方向の角度（θｘ、θｙ、θｚ）を算出する方法の一例を説明するための図である。図中、Ｐｓはポインターから投影された多重円錐の内、センサーを通過する一つ円錐がセンサー上に形成した楕円上の任意の一点であり、Ｐ０はその円錐上に存在し、かつＰｓを通過する円の中心位置であり、ＰｒはＰｓ−Ｐ０を意味している。ベクトルＰｒはポインターの光軸（ｃ軸）と垂直になる。下記ではこのような概念に基づいて式を立てている。図示のように、先ず、ポインターを基軸としたローカル座標系（ａ，ｂ，ｃ）とワールド座標系（ｘ，ｙ，ｚ）との関係を示す。ワールド座標の原点Ｏ（０，０，０）に対して、ポインターの座標ＯＬを（ｘ０、ｙ０、ｚ０）とする。ポインターの光軸は図のようにｃ軸とし、これに垂直な軸をａ軸とｂ軸とする。これらａ，ｂ，ｃ軸の単位ベクトルをｅａ，ｅｂ，ｅｃとする。センサー位置座標Ｏｓを（ｘｓ、ｙｓ、ｚｓ）とする。これらは次式で表される。
ea=(a1,a2,a3), eb=(b1,b2,b3), ec=(c1,c2,c3)      式(1)
a12+a22+a32=1, b12+b22+b32=1, c12+c22+c32=1      式(2)
【００１５】
これら２つのベクトルの直交条件は
eb・ec=0        式(3)
また、ベクトルｅａは、ｅｂ，ｅｃと直交することから次式で表される。
ea=eb×ec        式(4)
【００１６】
即ち、ｅａは、ｅｂとｅｃが決まることによって、自動的に決定される。よって、ポインターに関する軸ベクトルとしては、ｅｂとｅｃを求めればよく、式（２）と式（３）から、ｅｂとｅｃに関する３つの方程式があるので、未知数は３個となる。仮にそれをｂ１、ｂ２、ｃ１とする。
【００１７】
ポインターの軸ベクトルの原点ＯＬ（ｘ０，ｙ０，ｚ０）の未知数とあわせると、全体の未知数は６個で、ｘ０，ｙ０，ｚ０，ｂ１，ｂ２，ｃ１となる。
また、ポインターを基点としたローカルな座標系（ａ，ｂ，ｃ）とワールド座標系（ｘ，ｙ，ｚ）との関係は
x=x0+a*a1+b*b1+c*c1
y=y0+a*a2+b*b2+c*c2        式(5)
z=z0+a*a3+b*b3+c*c3
で表される。これを整理すると、
【００１８】
【数１】
2007198810.tif 000003
【００１９】
ここで、行列の右肩についている−１は、逆行列を表している。ここで、次式のようにａ１，ａ２，ａ３，ｂ１，ｂ２，ｂ３，ｃ１，ｃ２，ｃ３を置き換えなおすと、
【００２０】
【数２】
2007198810.tif 000004
【００２１】
ａ，ｂ，ｃは式（９）のように表される。
【００２２】
【数３】
2007198810.tif 000005
【００２３】
一方、ポインターから投影される同心円模様により形成される円錐（図１参照）は、ａｂｃ座標系では
a2+b2=r2c2        式(10)
で表される。ここでｒは円錐形状の広がりに関する定数である。
この式（１０）に式（９）を代入し、円錐の式をｘｙｚ座標で表すと式（１１）となる。
{a1*(x-x0) +b1*(y-y0)+c1*(z-z0)}2+{a2*(x-x0) +b2*(y-y0)+c2*(z-z0)}2=r2*{a3*(x-x0) +b3*(y-y0)+c3*(z-z0)}2        式(11)
【００２４】
同心円模様を検出するセンサー面がｘｙ平面上に存在すると仮定し、その位置を図４に示すように、(xs,ys,0)とすると、式(11)の楕円がこの位置を通過することから、次式が導かれる。
r2=(a1*(xs-x0)+b1*(ys-y0)+c1*(z0))2+(a2*(xs-x0) +b2*(ys-y0)+c2*(z0))2/(a3*(xs-x0) +b3*(ys-y0)-c3*z0)2        式(12)
【００２５】
また、円錐の式（１１）は整理すると、以下となる。
(a12+a22-r2*a32)(x-x0)2+ (b12+b22-r2*b32)(y-y0)2+(c12+c22-r2*c32)(z-z0)2
+2(a1b1+a2b2-r2*a3b3)(x-x0)(y-y0)+2(b1c1+b2c2-r2*b3c3)(y-y0)(z-z0)
+2(c1a1+c2a2-r2*c3a3)(z-z0)(x-x0)=0        式(13)
【００２６】
この式にセンサ面（ｘｙ平面）であるｚ＝０を代入した楕円式が、センサ面上に形成され、式（１４）で表される。
(a12+a22-r2*a32)(x-x0)2+ (b12+b22-r2*b32)(y-y0)2+2(a1b1+a2b2-r2*a3b3)(x-x0)(y-y0) 
-2(c1a1+c2a2-r2*c3a3)z0(x-x0) -2(b1c1+b2c2-r2*b3c3)(y-y0)z0 + (c12+c22-r2*c32)z02 =0        式(14)
【００２７】
係数を簡略化して置き換えると、楕円式（１４）は次式となる。
A(x-x0)2+B(y-y0)2+C(x-x0)(y-y0)＋D(x-x0)+E(y-y0)＋F=0      式(15)
ただし、
A= a12+a22-r2*a32
B= b12+b22-r2*b32
C= 2(a1b1+a2b2-r2*a3b3)              式(16)
D= -2(c1a1+c2a2-r2*c3a3)z0
E= -2(b1c1+b2c2-r2*b3c3)(y-y0)z0 
F= (c12+c22-r2*c32)z02 
【００２８】
式（１５）で表される楕円式上の点（ｘｓ，ｙｓ）における接線は次式で表される。
(A(xs-x0)+C(ys-y0)/2+D/2)(x-x0)+(B(ys-y0)+C(xs-x0)/2+E/2)(y-y0)+(D(xs-x0)/2
+E(ys-y0)/2+F)=0        式(17)
簡略化すると、
p(x-x0)+q(y-y0)+u=0        式(18)
ただし、
p = A(xs-x0)+C(ys-y0)/2+D/2
q = B(ys-y0)+C(xs-x0)/2+E/2        式(19)
u = D(xs-x0)/2+E(ys-y0)/2+F
【００２９】
以上により、座標（ｘｓ，ｙｓ）に位置するセンサーに投影される同心円模様の接線が式（１８）で表されることが導出された。実際にセンサーが撮像する同心円模様は、センサーサイズが数ｍｍと小さいことから、ほぼ直線となるので、この接線式がセンサーの撮像画像となる。以上から、接線式（１８）のセンサー位置（ｘｓ，ｙｓ）に実際の値を代入することで、センサーが撮像する同心円模様が得られる。
【００３０】
例えば、センサーを原点に設置した場合には、（ｘｓ，ｙｓ）＝（０，０）として、式（１２）から同心円模様のｒを求め（これをｒ（０，０）などと書くことにする）、そのｒ（０，０）に対応するｒ（０，０）＝ｒ０＊ｎ０なるｎ０を求める。このｎ０は何番目の同心円であるかを示している。
n0=r (xs,ys) /r0        式(20)
この接線の傾きθ０は、式（１８）から次式となる。
θ0＝atan(-q/p)        式(21)
【００３１】
次に、上記接線から距離１離れた点（ｘｓ’，ｙｓ’）は接線の傾きに直角な方向にあるので、
xs'=cos(θ0+π/2), ys'=sin(θ0+π/2)        式(22)
と表され、上記と同様に式（１２）からｒを求め、ｒ＝ｒ０＊ｎ１から何番目の同心円であるかを示すｎ１を求める。
n1=r (xs',ys') /r0        式(23)
【００３２】
式（２０）と式（２３）を比べると、距離１隔てた同心円模様がそれぞれ何本目に当たるかが分かるので、その差をΔｎとすると、
Δn＝n0-n1        式(24)
となる。これは言い換えると、距離１の間に存在する同心円模様の本数がΔｎであるので、同心円模様のピッチ（間隔）ΔＬが以下のように求められる。
ΔL=1/Δn        式(25)
【００３３】
以上により、式（２１）から同心円模様の接線の傾きθと、式（２５）から同心円模様のピッチ（間隔）を導き出すことができた。即ち、センサー１個が検出する同心円模様の接線の傾きθとそのピッチΔＬから、ポインターの３次元位置と角度の未知数に関する２つの式を成立させることができる。したがって、センサーを３個用いることにより、、６つの方程式が成立し、未知数ｘ０，ｙ０，ｚ０，ｂ１，ｂ２，ｃ１を算出することができる。即ち、ポインターの３次元位置とその角度に関する全ての未知数を決定することができる。
【００３４】
式（２１）と式（２５）から、解析的に未知数ｘ０，ｙ０，ｚ０，ｂ１，ｂ２，ｃ１を算出することは容易ではないが、この６つの未知数を順次変化させて、式（２１）と式（２５）の値がセンサーの検出値に収束するように数値計算させることは簡単である。ポインターの光軸角度（θｘ、θｙ、θｚ）、すなわちｃ軸がｘ軸、ｙ軸、ｚ軸となす角度はそのベクトルｅｃ＝（ｃ１，ｃ２，ｃ３）から容易に求められ、
ｃｏｓθｘ＝ｃ１，ｃｏｓθｙ＝ｃ２，ｃｏｓθｚ＝ｃ３
となる。
【００３５】
以上のようにして、３個のセンサーが同心円模様の方向と間隔を検出することにより、ポインター２の３次元位置とその光軸方向角度をリアルタイムで計測することができる。そして、このポインター２の３次元位置とその光軸方向角度からポインター２の光軸７が得られるので、この光軸７と同心円模様１を投影したディスプレイ画面８との交点を指示点９として、例えばカーソルをディスプレイ画面８上で高精度に表示し、あるいは移動させることができる。
【００３６】
（実施例２）
実施例１では、センサーをｘｙ面内に配置し、センサー面をｘｙ面とした場合において、ポインターの３次元位置とその光軸方向角度を算出したものであるが、実施例２では、センサーを任意の３次元位置に配置し、かつセンサー面の方向を任意に配置する場合を示す。まず、実施例１の式（１４）はセンサー面がｘｙ平面であることを仮定し、ｚ＝０を代入することで得られたが、実施例２ではこの代わりにセンサー面を任意の式として次式を代入する。
ix+jy+kz+l = 0        式(26)
【００３７】
これによりｚを消去し、その後の式を実施例１と同様に展開することができる。そして、その面上にあるセンサー位置（ｘｓ，ｙｓ）を代入すれは、上記の流れと同様にしてポインターの３次元位置と光軸方向角度を算出することができる。そして、このポインター２の３次元位置とその光軸方向角度からポインターの光軸７が得られるので、この光軸７と同心円模様１を投影したディスプレイ画面８との交点を指示点９としてカーソルをディスプレイ画面８上で高精度に表示し、あるいは移動させることができる。
【００３８】
（実施例３）
図５は、ポインターから出射される同心円模様をセンサーで検出することによりポインターの指示点を算出する方法の一例を説明するための図である。本実施例では、図示のように、ある平面上にセンサー面が３個存在し、そのセンサーが同一の楕円を観察している場合について説明する。ある平面５１がポインター２の光軸７に対して傾いている場合、同心円模様１は、図５に示すように、その平面５１上では多重楕円模様５２として投影される。その多重楕円は、図６に示すように２つの焦点６１，６２のうちの一つの焦点６１を共有する。その焦点６１は、円錐と平面との交点の性質から、図４に示したポインターのｃ軸と平面との交点となる。この点がポインター２の指示点９となる。従って、センサー３〜５の撮像した多重楕円模様５２から、多重楕円の共通焦点を算出し、これをポインター２の指示点９とすることができる。
【００３９】
この位置・方向計測システムは、上記のようなポインターシステムに適用することができるだけではなく、同心円模様の投影装置を移動物体に取り付け、その移動物体の３次元位置やその光軸方向角度から投影装置の指示点を計測し、これらの位置や方向情報の履歴変遷から、前記移動物体の活動を解析することができる。この移動物体は人間あるいは人間が移動させる物体とすることができ、これにより例えば人間の行動解析あるいは視線解析に利用することができる。すなわち、同心円模様の投影装置を人間の頭部に搭載しあるいは人間の胸などにぶら下げることにより、どの人がどの位置に居て、どの方向を向いているかなどの情報を採取することができる。
【産業上の利用可能性】
【００４０】
本発明は、投影装置より投影された同心円模様を撮像装置で撮像し、この撮像画像に基づいてその位置、方向あるいは指示点を計測する位置・方向計測システムに関するものであり、産業上の利用可能性がある。
【図面の簡単な説明】
【００４１】
【図１】本発明に係る位置・方向計測システムの一例を示す構成図である。
【図２】（ａ）は本発明に係る位置・方向計測システムに用いることができるポインターの構成例を示す図であり、（ｂ）はポインターを構成する干渉レンズの一例を示す図である。
【図３】（ａ）、（ｂ）は同心円干渉模様のシミュレーション結果の一例を示す図である。
【図４】ポインターから出射される同心円模様をセンサーで検出することによりポインターの３次元位置とその光軸方向の角度を算出する方法の一例を説明するための図である。
【図５】ポインターから出射される同心円模様をセンサーで検出することによりポインターの指示点を算出する方法の一例を説明するための図である。
【図６】ポインターから出射される同心円模様が対象物上で多重楕円模様として投影される例を示す図である。
【符号の説明】
【００４２】
１  同心円模様
２  投影装置（ポインター）
３〜５  撮像装置（イメージセンサー）
６  演算装置
７  光軸
８  対象物（ディスプレイ画面）
９  指示点
【図１】
2007198810.tif 000006
【図２】
2007198810.tif 000007
【図３】
2007198810.tif 000008
【図４】
2007198810.tif 000009
【図５】
2007198810.tif 000010
【図６】
2007198810.tif 000011