(57)【要約】【課題】単一のマーカーを用いてマーカーの位置だけでなく姿勢を検出すること。【解決手段】物体の位置姿勢を測定する位置姿勢測定装置であって、カラーコード化された透過パターンが形成されたパターンフィルタと、パターンフィルタの透過パターンを照明する照明光源と、照明された透過パターン像を空間に投射する投射光学系（魚眼レンズ）と、を具備するマーカー装置１００と、投射光学系により投射された透過パターン像を撮像する撮像装置１０，２０と、撮像装置１０，２０により撮像された画像データに基づいてマーカー装置の位置と姿勢を算出する位置姿勢算出装置２００と、を具備する。【選択図】        図１
2008026236.tif 000002
【特許請求の範囲】
【請求項１】
物体の位置姿勢を測定する位置姿勢測定装置であって、
コード化された透過パターンが形成された透過部材と、
前記透過部材の透過パターンを照明する照明装置と、
照明された透過パターン像を空間に投射する投射光学系と、を具備するマーカー装置と、
前記投射光学系により投射された透過パターン像を撮像する撮像装置と、
前記撮像装置により撮像された画像データに基づいて前記マーカー装置の位置と姿勢を算出する位置姿勢算出部と、
を具備することを特徴とする位置姿勢測定装置。
【請求項２】
前記投射光学系は、魚眼レンズであることを特徴とする請求項１記載の位置姿勢測定装置。
【請求項３】
前記投影光学系は、全周囲パノラマレンズであることを特徴とする請求項１記載の位置姿勢測定装置。
【請求項４】
物体の位置姿勢を測定する位置姿勢測定装置であって、
コード化された透過パターンが形成された第１の透過部材と、
前記透過部材の透過パターンを照明する第１の照明装置と、
照明された透過パターン像を空間に投射する第１の投射光学系と、
前記投射光学系と同軸上に設けられた第１の光路分割素子と、
前記光路分割素子による光路分割路の１つに沿って設けられた第１の撮像素子と、を具備する第１のマーカー装置と、
コード化された透過パターンが形成された第２の透過部材と、
前記透過部材の透過パターンを照明する第２の照明装置と、
照明された透過パターン像を空間に投射する第２の投射光学系と、
前記投射光学系と同軸上に設けられた第２の光路分割素子と、
前記光路分割素子による光路分割路の１つに沿って設けられた第２の撮像素子と、を具備する第２のマーカー装置と、
を具備することを特徴とする位置姿勢測定装置。
【請求項５】
物体の位置姿勢を測定する位置姿勢測定装置であって、
コードパターン状に配置された発光素子アレイと、
前記発光素子アレイの発光を制御する発光制御装置と、
前記発光素子アレイからのアレイ像を空間に投射する投射光学系と、を具備するマーカー装置と、
前記投射光学系により投射された透過パターン像を撮像する撮像装置と、
前記撮像装置により撮像された画像データに基づいて前記マーカー装置の位置と姿勢を算出する位置姿勢算出部と、
を具備することを特徴とする位置姿勢測定装置。
【請求項６】
物体の位置姿勢を測定する位置姿勢測定装置であって、
コード化された透過パターンが形成された透過部材と、
前記透過部材の透過パターンを照明する照明装置と、
照明された透過パターン像を空間に投射する投射光学系と、
前記投射光学系と同軸上に設けられた撮像素子と、を具備し、再帰反射部材で形成されたマーカー装置と、
前記投射光学系により投射された透過パターン像を撮像する撮像装置と、
前記撮像装置により撮像された画像データに基づいて前記マーカー装置の位置と姿勢を算出する位置姿勢算出部と、
を具備することを特徴とする位置姿勢測定装置。
【請求項７】
前記マーカー装置は、前記再帰反射部材と、当該再帰反射部材を包含する拡散反射部材とから構成されていることを特徴とする請求項６記載の位置姿勢測定装置。
【請求項８】
物体の位置姿勢を測定する位置姿勢測定方法であって、
コード化された透過パターンが形成された透過部材の透過パターンを照明装置により照明するステップと、
照明された透過パターン像を投射光学系によって空間に投射するステップと、
前記投射光学系により投射された透過パターン像を撮像装置によって撮像するステップと、
前記撮像装置により撮像された画像データに基づいて前記マーカー装置の位置と姿勢を位置姿勢算出部によって算出するステップと、
を具備することを特徴とする位置姿勢測定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マーカーを撮影することで、マーカーの位置姿勢を測定する位置姿勢測定装置及び位置姿勢測定方法に関する。
【背景技術】
【０００２】
例えば、従来のモーションキャプチャーや位置計測装置に用いられるマーカーは、三次元的に固定された位置に、複数の発光点（例えばＬＥＤ）などを固定することで、幾何学的にそのマーカーの姿勢を検出していた。位置姿勢決定用のトランスジューサの一例として、例えば、特表２００４−５１０１３７が挙げられる。また、パッシブマーカーの一例として、例えば、反射性の素材などを用いたマーカーを装着することで、位置の検出を行なっていた。
【０００３】
また、カメラにより撮像位置を計測する手法として、光学通信用の位置合わせ用途では、特表２００３−５２８４７８がある。
【特許文献１】特表２００４−５１０１３７
【特許文献２】特表２００３−５２８４７８
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の引用文献を含む従来技術は、単一のマーカーによりマーカーの姿勢を検出するという点について対応することができない。
【０００５】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、単一のマーカーを用いてマーカーの位置及び姿勢を検出することができる位置姿勢計測装置及び位置姿勢計測方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明の第１の態様は、物体の位置姿勢を測定する位置姿勢測定装置であって、コード化された透過パターンが形成された透過部材と、前記透過部材の透過パターンを照明する照明装置と、照明された透過パターン像を空間に投射する投射光学系と、を具備するマーカー装置と、前記投射光学系により投射された透過パターン像を撮像する撮像装置と、前記撮像装置により撮像された画像データに基づいて前記マーカー装置の位置と姿勢を算出する位置姿勢算出部と、を具備する。
【０００７】
また、本発明の第２の態様は、第１の態様において、前記投射光学系は、魚眼レンズである。
【０００８】
また、本発明の第３の態様は、第１の態様において、前記投影光学系は、全周囲パノラマレンズである。
【０００９】
また、本発明の第４の態様は、物体の位置姿勢を測定する位置姿勢測定装置であって、コード化された透過パターンが形成された第１の透過部材と、前記透過部材の透過パターンを照明する第１の照明装置と、照明された透過パターン像を空間に投射する第１の投射光学系と、前記投射光学系と同軸上に設けられた第１の光路分割素子と、前記光路分割素子による光路分割路の１つに沿って設けられた第１の撮像素子と、を具備する第１のマーカー装置と、コード化された透過パターンが形成された第２の透過部材と、前記透過部材の透過パターンを照明する第２の照明装置と、照明された透過パターン像を空間に投射する第２の投射光学系と、前記投射光学系と同軸上に設けられた第２の光路分割素子と、前記光路分割素子による光路分割路の１つに沿って設けられた第２の撮像素子と、を具備する第２のマーカー装置と、を具備する。
【００１０】
また、本発明の第５の態様は、物体の位置姿勢を測定する位置姿勢測定装置であって、コードパターン状に配置された発光素子アレイと、前記発光素子アレイの発光を制御する発光制御装置と、前記発光素子アレイからのアレイ像を空間に投射する投射光学系と、を具備するマーカー装置と、前記投射光学系により投射された透過パターン像を撮像する撮像装置と、前記撮像装置により撮像された画像データに基づいて前記マーカー装置の位置と姿勢を算出する位置姿勢算出部と、を具備する。
【００１１】
また、本発明の第６の態様は、物体の位置姿勢を測定する位置姿勢測定装置であって、コード化された透過パターンが形成された透過部材と、前記透過部材の透過パターンを照明する照明装置と、照明された透過パターン像を空間に投射する投射光学系と、前記投射光学系と同軸上に設けられた撮像素子と、を具備し、再帰反射部材で形成されたマーカー装置と、前記投射光学系により投射された透過パターン像を撮像する撮像装置と、前記撮像装置により撮像された画像データに基づいて前記マーカー装置の位置と姿勢を算出する位置姿勢算出部と、を具備する。
【００１２】
また、本発明の第７の態様は、第６の態様において、前記マーカー装置は、前記再帰反射部材と、当該再帰反射部材を包含する拡散反射部材とから構成されている。
【００１３】
また、本発明の第８の態様は、物体の位置姿勢を測定する位置姿勢測定方法であって、コード化された透過パターンが形成された透過部材の透過パターンを照明装置により照明するステップと、照明された透過パターン像を投射光学系によって空間に投射するステップと、前記投射光学系により投射された透過パターン像を撮像するステップと、前記撮像装置により撮像された画像データに基づいて前記マーカー装置の位置と姿勢を位置姿勢算出部によって算出するステップと、を具備する。
【発明の効果】
【００１４】
本発明によれば、単一のマーカーを用いてマーカーの位置及び姿勢を検出することが可能になる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１６】
（第１実施形態）
図１は、本発明の第１実施形態に係る位置姿勢計測装置の構成を示すブロック図である。本実施形態の位置姿勢計測装置は、マーカー装置１００と、撮像装置１０，２０と、位置姿勢算出装置２００とからなり、撮像装置１０，２０と位置姿勢算出装置２００間は画像送信装置１１，２１を用いて画像データを転送する。マーカー装置１００はドーム状スクリーンの半球中心に設置されているものとする。
【００１７】
マーカー装置１００は、図２に示すように、魚眼レンズ１０３と、パターンフィルタ１０４と、照明光源１０５とを備えるとともに、該照明光源１０５を制御する照明制御装置１０１を有する。
【００１８】
パターンフィルタ１０４は、ｆθレンズである魚眼レンズ１０３の焦点面に設置され、空間の座標を投影した、カラーコード化されたパターンフィルタである。
【００１９】
図３（ａ）、（ｂ）は、パターンフィルタ１０４の構成例を示しており、（ａ）は簡略化されたパターン、（ｂ）は実際に即したパターンである。図３（ａ）のパターンフィルタ１０４は、等間隔の同心円状の分割と、ＸＹ軸に沿った分割により形成される複数の区画領域（領域１、２、〜、ｎ）から構成される。各領域にはそれぞれ異なる色のパターンが形成されカラーコード化されている。図３（ｂ）のパターンフィルタ１０４は、等間隔の同心円状の分割と、放射状の分割により形成される複数の区画領域（領域１、２、〜、ｎ）から構成される。各領域にはそれぞれ異なる色のパターンが形成されカラーコード化されている。
【００２０】
パターンフィルタ１０４は、魚眼レンズ１０３の焦点面に配置されるが、ここで魚眼レンズ１０３の画角を１８０度とし、パターンが図３（ｂ）に示すように等間隔の同心円状の分割と、放射状の分割で構成されているとすると、マーカー装置１００の延長線上にあるドーム状の空間は上下方向三分割、周囲方向に８分割される。撮像装置１０，２０はこの分割された空間のいずれかに設置される。
【００２１】
一方、位置姿勢算出装置２００は、画像受信装置２０１と、マーカー検出装置２０４と、キャリブレーション装置２０５と、パターン記憶装置２０６と、位置算出装置２０７と、姿勢同定装置２０８と、データ出力装置２１１と、マーカー記憶装置２０３とからなる。
【００２２】
次に、上記した第１実施形態の作用を説明する。まず、本実施形態の姿勢検出の原理を説明する。照明光源１０５によりパターンフィルタ１０４が照明されると、その像は魚眼レンズ１０３によりドーム状スクリーンの空間に向けて投影される。これにより、カラーパターンの投影がなされる。この魚眼レンズ１０３の前側絞りを２台の撮像装置１０，２０により撮像する。
【００２３】
この撮像装置１０，２０により、マーカー装置１００の魚眼レンズ１０３の瞳像を撮影すると、撮像装置１０，２０がマーカー装置１００を撮影する方向によって魚眼レンズ１０３の瞳像の色が変化する。すなわち、図４に示すように、撮像装置１０、撮像装置２０のように異なる位置からマーカーを撮影すると、撮像装置１０では例えば青色の瞳像が、撮像装置２０では例えば黄色の瞳像が撮影されることになる。
【００２４】
このように、本実施形態では瞳像の撮影色によりドーム状空間がカラーコード化されており、このような空間に配置された撮像装置１０，２０により撮像された画像データを処理することにより、撮像装置１０，２０に対するマーカー装置１００の相対的な姿勢を検出することができる。
【００２５】
次に、処理の流れについて説明する。
【００２６】
照明制御装置１０１により、照明光源１０５の光量を調節し、パターンフィルタ１０４を照明する。照明されたパターンフィルタ１０４の像は、魚眼レンズ１０３を通じて、空間に投射される。これを撮像装置１０，２０で撮影することで、魚眼レンズ１０３の瞳を撮影する。撮影された画像は、画像送信装置１１，２１により、位置姿勢算出装置２００に送信される。位置姿勢算出装置２００の画像受信装置２０１により、画像データを受信する。画像受信装置２０１は受信した画像（画像データ群２０２）をマーカー検出装置２０４に送信する。マーカー検出装置２０４は、受信された画像データから、あらかじめマーカー記憶装置２０３に記憶されたカラーコードを用いて二値化やカラー認識などの画像処理を行なうことにより、画像中の魚眼レンズ１０３の瞳像を検出する。
【００２７】
位置算出装置２０７は、キャリブレーション装置２０５によりあらかじめ算出されてパターン記憶装置２０６に記憶されているキャリブレーションデータに基づいて認識されたマーカーの位置を算出して位置データ２０９を出力する。この処理は、従来のマーカーを用いた光学式モーションキャプチャー装置と同様の処理を実施すれば良い。
【００２８】
図１に示すようにステレオカメラを撮像装置として用いていれば、撮像装置に対する、三次元的な位置を算出することが可能であり、また、任意に設定した、世界座標系と、撮像装置間のキャリブレーションを実施していれば、世界座標内での三次元的な位置を算出することができる。
【００２９】
本実施形態では、上記に加えて、単体のマーカーでもマーカーの姿勢を認識できる点に特徴がある。すなわち姿勢同定装置２０８は、マーカー記憶装置２０３に記憶されているカラーコードと、キャリブレーション装置２０５からのキャリブレーションデータとに基づいてマーカーの姿勢を同定して姿勢データ２１０を出力する。これは、撮像装置１０，２０がコード化空間のどの空間に位置しているかを瞳像の色情報から同定する処理である。データ出力装置２１１は、位置データ２０９と姿勢データ２１０とを位置・姿勢データ２１２として出力する。
【００３０】
（変形例）
図５は第１実施形態の変形例を説明するための図である。撮像装置１０，２０は、一般に、撮像範囲内の明るさに応じて、露出調整を実施するように構成される。外光変化によりマーカーの発光量が過剰になると、撮像装置１０，２０のダイナミックレンジ外の輝度になり、色の認識が困難になる。また、マーカーの発光量が不足すると、画像データ内からのマーカーの抽出が困難になる。このため、外光センサーを照明制御装置１０１に持たせ、外光状況に応じて発光量を調整するようにしてもよい。
【００３１】
図５は外光センサーの一例を示しており、パターンフィルタ１０４からの出力光を分割するためのハーフプリズムやハーフミラーなどで構成される光路分割手段としてのビームスプリッタ１０７と、分割光を受光して測光を行う測光素子１０８とから構成される。このような外光センサーを設けることで環境全体の輝度を観察するようにしても良いが、画像送信装置２１及び画像受信装置２０１に撮像装置１０，２０からの露出情報の通信機能を持たせ、撮像装置１０，２０の露光条件に合わせて、照明制御装置１０１により照明光源の輝度を制御するようにしても良い。
【００３２】
なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。例えば図１では、ステレオ方式の撮像装置を複数用いる例を示しているが、単体での仕様、もしくは、単眼カメラをステレオ視可能に配置した物でも良く、２以上のカメラが空間内の同一領域を撮像していれば良い。魚眼レンズは、従来技術として、全天視や、パノラマ視を目的とした光学系が各種提案されており、それらを用いても良い。また、図６に示すように、マーカーを反射屈折・全周パノラミックレンズ１０９を用いてパノラマ系で構成しても良い。この場合は、３６０度の方向が見る方向によって、色が変わることにより認識可能となる。
【００３３】
（第２実施形態）
図７は、本発明の第２実施形態に係る位置姿勢計測装置の構成を示すブロック図である。
【００３４】
本実施形態の位置姿勢計測装置は、マーカー装置１００と、撮像装置１０，２０と、位置姿勢算出装置２００とからなり、撮像装置１０，２０と位置姿勢算出装置２００間は画像送信装置１１，２１を用いて画像データを転送する。
【００３５】
マーカー装置１００は、図８に示すように、魚眼レンズ１０３と、パターンフィルタ１０４と、照明光源１０５と、ビームスプリッタ１０７と、撮像素子１０８とを備えるとともに、該照明光源１０５を制御する照明制御装置１０１と、撮像素子１０８で撮像した画像データを送信する画像送信装置１１０とを有する。
【００３６】
また、位置姿勢算出装置２００は、画像受信装置２０１と、マーカー検出装置２０４と、キャリブレーション装置２０５と、パターン記憶装置２０６と、位置算出装置２０７と、姿勢同定装置２０８と、データ出力装置２１１と、マーカー記憶装置２０３とからなる。
【００３７】
図８（ａ）、（ｂ）に示すように、魚眼レンズ１０３の焦点面には、空間の座標を投影したカラーコード化されたパターンフィルタ１０４が設置される。これは第１実施形態と同様である。さらに本実施形態では、パターンフィルタ１０４とほぼ同焦点位置になるようにビームスプリッタ１０７で分割した光路の先に撮像素子１０８を設ける。照明光源１０５と撮像素子１０８の配置は、図８（ａ）、（ｂ）どちらの配置でもかまわない。
【００３８】
次に、本実施形態の作用を説明する。第１実施形態と同様に、照明制御装置１０１により、照明光源１０５の光量を調節し、パターンフィルタ１０４を照明する。照明されたパターンフィルタ１０４の像は、魚眼レンズ１０３を通じて空間に投射される。これを撮像装置１０，２０で撮影することで、魚眼レンズ１０３の瞳を撮影する。撮影された画像は、画像送信装置１１，２１により、位置姿勢算出装置２００に送信される。位置姿勢算出装置２００の画像受信装置２０１により画像データを受信する。
【００３９】
マーカー検出装置２０４は、受信された画像データから、あらかじめマーカー記憶装置２０３に記憶されたカラーコードを用い、二値化やカラー認識などの画像処理を行なうことにより、画像中の魚眼レンズ１０３の瞳像を検出する。
【００４０】
位置算出装置２０７は、認識されたマーカーの位置をキャリブレーション装置２０５によりあらかじめ算出されていたキャリブレーションデータにより算出する。この処理は、従来のマーカーを用いた光学式モーションキャプチャー装置と同様の処理を実施すれば良い。
【００４１】
図７に示すようにステレオカメラを撮像装置１０，２０として用いていれば、撮像装置１０，２０に対する三次元的な位置を算出することが可能であり、また、任意に設定した、世界座標系と、撮像装置間のキャリブレーションを実施していれば、世界座標内での三次元的な位置を算出することができる。
【００４２】
本実施形態では、これに加え、単体のマーカーでもマーカーの姿勢を認識できる点に特徴がある。姿勢同定装置２０８は、マーカー記憶装置２０３に記憶されていたカラーコードと、キャリブレーション装置２０５からのキャリブレーションデータから、マーカーの姿勢を同定する。これは、撮像装置１０，２０がコード化空間のどの空間に位置しているかを瞳像の色情報から同定する処理である。
【００４３】
（変形例）
図９は、第２実施形態の変形例を説明するための図である。ここでは図９に示すように、複数の撮像素子（図９では１０８−１、１０８−２）を持つマーカーを対向して設置し、双方向でのマーカー間での姿勢の認識を行うことを目的としている。ここでは、第１実施形態で説明したようにマーカーとは別個に配置された撮像装置により撮像した画像データに基づいて同定を行うのではなく、相対するように配置されたマーカー内の撮像素子による画像データに基づいてマーカーの姿勢を同定することを特徴とする。
【００４４】
図１０（ａ）に示すように、マーカー自体は、観測できているが、相手の画角内に入っていない場合は、瞳像の発光は検出されない。一方、図１０（ｂ）に示すように、双方がお互いの画角内に入れば、双方でマーカーの瞳像の発光が検出される。
【００４５】
本実施形態の特有の効果として、パターンフィルタと撮像素子とが同画角を持つ場合には、同軸での投影と撮影を実施することで、双方のマーカーで、相手の撮影画角に自撮像装置が入ったことを認識することができる。これにより、マーカーが相互に相手の撮像領域内に存在するか否かを認識することが可能になる。
【００４６】
なお、この発明の実施形態の各構成は、当然、各種の変形、変更が可能である。例えば、図１１に示すように、複数のマーカーを一体化した、例えば、全周囲の姿勢を認識できる形態をとることもできる。図１１に示すマーカー装置１７０は、筐体１６３の外部に設置され、照明装置１６２、魚眼レンズ１６０からなる構成と、筐体１６３の内部に設置され、照明装置１６４、魚眼レンズ１６５からなる構成との組合せである。１６１は魚眼レンズの投射角である。２つの魚眼レンズの投射角度範囲が全周囲をカバーしているので、マーカー装置の姿勢がいかようになっても、必ず少なくとも一方の魚眼レンズの映像を外部のカメラにより撮像できる。このため、常にマーカー装置の姿勢の検出が可能であり、応用範囲が広い。
【００４７】
なお、この例では、２つの魚眼レンズ１６０、１６５の投射角が重なる範囲では、２つの魚眼レンズの瞳の像を同時に外部カメラで撮影できる。このため、相対距離が既知である２つの瞳の像と、検出されたマーカー装置の姿勢とから、外部が単眼カメラであっても、マーカーまでの距離情報をある程度推測することができるという副次的な効果もある。
【００４８】
（第３実施形態）
図１２は、本発明の第３実施形態に係る位置姿勢計測装置の構成を示すブロック図である。図１３は、図１２の一部を拡大して示す図である。第１及び第２実施形態ではパターンフィルタ１０４を照明することによりパターンを投射していたが、第３実施形態では、自発光を行う発光素子アレイ１０９を用いたことを特徴とする。
【００４９】
発光素子自体は、レーザーダイオードや、発光ダイオード、プラズマ、有機ＥＬなどのアレイが用いられる。図１４は、カラーＬＥＤをアレイ状に配置する一構成例を示している。第３実施形態では、図１３に示すように、第１、第２実施形態で透過パターンを配置していた部分に発光素子アレイ１０９が設置される。発光素子アレイ１０９は、発光制御装置１１０により、その発光パターン、明滅、色などが制御される。他の構成、作用、効果は、第１、第２実施形態と同様であるのでここでの説明は省略する。これにより、より効率的な光の利用が可能となり、マーカーの輝度を効果的に制御することができる。
【００５０】
なお、第２実施形態と同様に、図１５に示すように、ハーフプリズムやハーフミラーなどで構成される光路分割手段としてのビームスプリッタ１０７を設けて、発光素子アレイ１０９とほぼ同焦点位置に撮像素子１０８を設けても良い。このようにすることで、図１６に示すように、対向したマーカー装置３００、３０１、３０２どうしでの撮影が可能になるので、お互いの姿勢を推定することが可能となる。
【００５１】
また、図１７に示すように、複数のマーカーを別途ステレオカメラなどにより撮像して、位置を計測し、発光素子アレイの位置とその色から、マーカーの姿勢を検出することができる。図１７において、マーカー装置１００−１は、画像送信装置１１０−１と、照明制御装置１０１−１と、撮像素子１０８−１と、発光素子アレイ１０９−１と、ビームスプリッタ１０７−１とから構成される。また、マーカー装置１００−２は、画像送信装置１１０−２と、照明制御装置１０１−２と、撮像素子１０８−２と、発光素子アレイ１０９−２と、ビームスプリッタ１０７−２とから構成される。
【００５２】
さらに、本実施の形態の特有の効果としては、例えば、発光パターンで、カメラのＩＤやステータス、各種情報をやり取りできるようにしても良い。
【００５３】
勿論、これと等価的な構成として、ＬＣＤなどにより、パターンの明滅を制御することにより、発光素子アレイ１０９と同様に作用をもたらす構成としても良い。ただし、このときは、照明光源からの光の利用効率は落ちることになる。
【００５４】
また、カラーコードや撮像素子の代わりに、十字スプリット型のＰＤとハーフプリズム、レーザービーム光源を組み合わせることで、１８０度を超える範囲において、光軸合わせの位置決めが可能なレーザー軸決め装置として用いても良い。
【００５５】
また、多方向のレーザー発信装置からの信号をマルチチャンネルで送受信する光通信装置としての応用も可能である。
【００５６】
（第４実施形態）
以下に、本発明の第４実施形態について説明する。第１及び第２実施形態では、マーカーにカラーの投光装置を設けたが、ここでは周囲に配置した撮像装置に代えて、再帰反射性素材を用いたマーカーを用いる。図１８は、このような再帰反射マーカー３５０の一例を示しており、拡散マーカー３５１により包含されている。
【００５７】
第４実施形態では、投光・撮像する第１及び第２実施形態の、カメラ、投影装置を備えるマーカーは固定して配置され、従来のカメラに相当する再帰反射マーカー３５０自身が移動することになる。
【００５８】
次に、第４実施形態の作用効果を説明する。図１９に示すように、再帰反射マーカー３５０は、投光されたコード光をその投影方向に反射する。投影方向に反射した光はハーフプリズム３５４により光路分割されてカメラ３５３あるいはプロジェクタ３５２に入射される。また、他方向から投光されたコード光も再帰反射マーカー３５０によってその投影方向に反射される。投影方向に反射した光はハーフプリズム３５７により光路分割されてカメラ３５６あるいはプロジェクタ３５５に入射される。このようにして、第２実施形態のパターン投影と同軸に設けられたカメラによってカメラで撮像するのと同じ効果を得ることができる。
【００５９】
すなわち、ハーフプリズム３５４から投影された透過パターン光は、再帰反射マーカー３５０により反射され、当該投影装置（プロジェクタ３５２）と同軸に設けられた撮像装置（カメラ３５３）のみに、そのカラーコード化された反射色を反射することになる。ハーフプリズム３５７から投影された透過パターン光についても同様である。
【００６０】
図２０に示すように、撮像装置４００は、光学的には再帰性反射マーカー４０１を対称点として、折り返した位置に第１実施形態から第３実施形態で示したマーカー（仮想マーカー４０２）が存在していてそれを撮像するのと同じ条件になる。これは、光源やレンズを有することなしに第２実施形態と同等の効果を得ることになる。
【００６１】
反射を用いているため鏡像位置になることだけを考慮し、さらに前実施形態で示したマーカーを撮像する場合と比較して距離が１／２になる。以上の補正を用いれば、第２実施形態と同様の処理になる。
【００６２】
ただし、距離測定に関しては、同一色は複数カメラでは捕らえられないので、ステレオ撮影時に、どの再帰性反射マーカーが同一のマーカーかを判別することは困難である。このとき、拡散反射部分の投影パターンの混合色により判別することが可能になる。ただし、それぞれの投影色セグメント内に複数マーカーが存在する場合には、カメラ間の位置姿勢キャリブレーションリブレーション結果からマーカーの位置検出により判別する必要がある。
【００６３】
図２１は、軽量な再帰反射マーカー３５０−１，３５０−２を人間３６１に装着したようすを示す図である。ここでの再帰反射マーカー３５０−１，３５０−２は、人間３６１の動作をキャプチャーする用途で用いる。図１９に示すように、空間を分割し投光されているカラーコード化された照明によりどの位置に再帰反射マーカー３５０−１，３５０−２が存在するかを容易に判別することが可能になる。
【００６４】
また、装着している人間３６１は、再帰反射マーカー３５０−１，３５０−２の周囲に配置された拡散マーカー３５１−１，３５１−２で反射された色データに基づいて、マーカー装置がカメラによって撮像された空間領域のどこに位置しているかを簡単に知ることができる。空間内での自身の位置をこの色データにより知ることができるため、例えばジェスチャ入力において、空間上の特定領域に意味づけを行なった場合の空間位置のフィードバックとして用いることができる。
【００６５】
以上の実施形態に共通して言えることであるが、ＬＥＤなどで行なわれるパターンもしくはパターンの照明の輝度制御は、撮像素子の露光量内で飽和しないように制御してもよい。また、飽和と上記適正輝度調節値、消灯などを任意パターンで組み合わせサイクリックに点滅させる、いわゆるモールス信号のような点滅のシーケンスによるコード送信で繰り返すようにしても良い。
【００６６】
マーカーを通信機能を有する移動体に装着する場合には、マーカー自身のＩＤや、通信、発光タイミングの情報を、固定のネットワーク（例としては、イーサネット（登録商標）や、ＩＥＥＥ８０１．２無線ＬＡＮ、有線のＩＥＥＥ１３９４、ＵＳＢ、ＰＬＣ、ＺｉｇＢｅｅやBluetooth（登録商標）などの近距離無線ネットワークなど）に配信しても良い。こうすることにより、透過パターンの情報や、発光素子アレイの発光パターンの情報と、撮像素子で撮影しているマーカーの関係を照合することができ、無線ネットワークや、有線で位置がわかっているマーカーから、位置が不明なマーカーについての位置特定をすることが可能となる。
【００６７】
なお、上記した具体的実施形態には、以下のような構成の発明が含まれている。
【００６８】
１．物体の位置姿勢を測定する位置姿勢測定装置であって、
コード化された透過パターンが形成された透過部材と、
前記透過部材の透過パターンを照明する照明装置と、
照明された透過パターン像を空間に投射する投射光学系と、を具備するマーカー装置と、
前記投射光学系により投射された透過パターン像を撮像する撮像装置と、
前記撮像装置により撮像された画像データに基づいて前記マーカー装置の位置と姿勢を算出する位置姿勢算出部と、
を具備することを特徴とする位置姿勢測定装置。
【００６９】
（対応する発明の実施の形態）
この発明に関する実施の形態は、上記した第１及び第２実施の形態に対応する。構成中の投射光学系は魚眼レンズ１０３に該当し、透過パターンはパターンフィルタ１０４に該当し、照明装置は照明光源１０５と照明制御装置１０１とからなる構成に該当する。
【００７０】
（作用）
透過パターンを照明装置で照明し、投射光学系で空間に光を投射する。これを撮像装置を用いて撮影することで、コードパターンを形成した透過パターンのコードを瞳像として得る。これをデコードすることにより、マーカーの姿勢を算出する。
【００７１】
（効果）
通常のＬＥＤなどのマーカーを撮像装置で撮影する位置測定の効果に加えて、マーカー自体の姿勢情報を、コード化された瞳像の撮影により算出することができるので、マーカーの姿勢をも認識することができる。
【００７２】
２．前記投射光学系は、魚眼レンズであることを特徴とする１記載の位置姿勢測定装置。
【００７３】
（対応する発明の実施の形態）
この発明に関する実施の形態は、上記した第１及び第２実施形態に対応する。構成中の投射光学系は魚眼レンズ１−３に該当するが、変形例に示すようなパノラミックレンズなども含む。透過パターンはパターンフィルタ１０４に該当する。照明装置は照明光源１０５と照明制御装置１０１とからなる構成に該当する。
【００７４】
（作用）
透過パターンを照明装置で照明し、投射光学系で空間に光を投射する。これを撮像装置を用いて撮影することで、コードパターンを形成した透過パターンのコードを瞳像として得る。これをデコードすることにより、マーカーの姿勢を算出する。
【００７５】
（効果）
通常のＬＥＤなどのマーカーを撮像装置で撮影する位置測定の効果に加えて、マーカー自体の姿勢情報を、コード化された瞳像の撮影により算出することができるので、マーカーの姿勢をも認識することができる。
【００７６】
３．前記投影光学系は、全周囲パノラマレンズであることを特徴とする１記載の位置姿勢測定装置。
【００７７】
（対応する発明の実施の形態）
この発明に関する実施の形態は、上記した第１及び第２実施の形態に対応する。構成中の投射光学系は反射屈折・全周パノラミックレンズ１０９に該当し、透過パターンはパターンフィルタ１０４に該当し、照明装置は、照明光源１０５と照明制御装置１０１とからなる構成に該当する。
【００７８】
（作用）
透過パターンを照明装置で照明し、投射光学系で空間に光を投射する。これを撮像装置を用いて撮影することで、コードパターンを形成した透過パターンのコードを瞳像として得る。これをデコードすることにより、マーカーの姿勢を同定する。
【００７９】
（効果）
通常のＬＥＤなどのマーカーを撮像装置で撮影する位置測定の効果に加えて、マーカー自体の姿勢情報を、コード化された瞳像の撮影により算出することができるので、マーカーの姿勢をも認識することができる。
【００８０】
ここで、「全周囲パノラマレンズ」という用語は、本明細書では双曲面ミラーや放物曲面ミラーと結像レンズを組み合わせたオムニビジョン光学系や、円環状の反射屈折光学系により周囲３６０度のパノラマ画像を取得できる光学系を意味している。
【００８１】
４．物体の位置姿勢を測定する位置姿勢測定装置であって、
物体の位置姿勢を測定する位置姿勢測定装置であって、
コード化された透過パターンが形成された第１の透過部材と、
前記透過部材の透過パターンを照明する第１の照明装置と、
照明された透過パターン像を空間に投射する第１の投射光学系と、
前記投射光学系と同軸上に設けられた第１の光路分割素子と、
前記光路分割素子による光路分割路の１つに沿って設けられた第１の撮像素子と、を具備する第１のマーカー装置と、
コード化された透過パターンが形成された第２の透過部材と、
前記透過部材の透過パターンを照明する第２の照明装置と、
照明された透過パターン像を空間に投射する第２の投射光学系と、
前記投射光学系と同軸上に設けられた第１の光路分割素子と、
前記光路分割素子による光路分割路の１つに沿って設けられた第２の撮像素子と、を具備する第２のマーカー装置と、
を具備することを特徴とする位置姿勢測定装置。
【００８２】
（対応する発明の実施の形態）
この発明に関する実施の形態は、上記した第２実施の形態の変形例に対応する。ここではマーカー装置が撮像素子を備えるが、１と同様に、マーカーを外部から撮影する撮像装置も用いても良い。
【００８３】
（作用）
コードパターンを形成した透過パターンを照明装置により照明し、投射光学系を通して、空間に投影するとともに、投射光学系と同軸上に設置された光路分割素子を介して受光した空間像を撮像素子により撮影する。このようなマーカー装置を複数備え、複数のマーカーが相互に撮影する。
【００８４】
（効果）
従来、複数カメラを用いたセンシング環境において、対向撮影をして、相互に認識しあう用途では、撮像した画像から相手が撮影しているであろう画角を認識するのは難しかった。本構成によれば、相互にマーカー間での撮影を行なうことで、撮影画角内にマーカーが存在しているか否か、さらに、マーカーの相対的な姿勢と方向を認識することができる。
【００８５】
５．物体の位置姿勢を測定する位置姿勢測定装置であって、
コードパターン状に配置された発光素子アレイと、
前記発光素子アレイの発光を制御する発光制御装置と、
前記発光素子アレイからのアレイ像を空間に投射する投射光学系と、を具備するマーカー装置と、
前記投射光学系により投射された透過パターン像を撮像する撮像装置と、
前記撮像装置により撮像された画像データに基づいて前記マーカー装置の位置と姿勢を算出する位置姿勢算出部と、
を具備することを特徴とする位置姿勢測定装置。
【００８６】
（対応する発明の実施の形態）
この発明に関する実施の形態は、上記した第１実施形態に対応する。構成中の発光素子アレイは例えばＬＤアレイや、ＬＥＤアレイや、有機ＥＬパネルなどである。また、発光素子自体にはＬＥＤに代表されるように凸のレンズがモールドなどにより設けられており、光軸方向に収束した光が出射するよう構成されていても良い。
【００８７】
（作用）
発光素子は所定のパターンにしたがって発光し、その光が直接空間に投射する投射光学系により投射される。
【００８８】
（効果）
自発光の素子を用いることで、照明光学系を簡略化し、また、発光素子の特性として、光軸に並行で収束した光が出射されるため、投影効率が高い。また、透過パターンを十分な輝度を持って、発光パターンを変更しながら発光制御することが可能になる。
【００８９】
６．物体の位置姿勢を測定する位置姿勢測定装置であって、
コード化された透過パターンが形成された透過部材と、
前記透過部材の透過パターンを照明する照明装置と、
照明された透過パターン像を空間に投射する投射光学系と、
前記投射光学系と同軸上に設けられた撮像素子と、を具備し、再帰反射素材で形成されたマーカー装置と、
前記投射光学系により投射された透過パターン像を撮像する撮像装置と、
前記撮像装置により撮像された画像データに基づいて前記マーカー装置の位置と姿勢を算出する位置姿勢算出部と、
を具備することを特徴とする位置姿勢測定装置。
【００９０】
（対応する発明の実施の形態）
この発明に関する実施の形態は、上記した第４実施形態に対応する。
【００９１】
（作用）
透過パターンを照明装置で照明し、投射光学系で空間に光を投射する。これを撮像装置を用いて撮影することで、コードパターンを形成した透過パターンのコードを瞳像として得る。これをデコードすることにより、マーカーの姿勢を算出する。
【００９２】
（効果）
カメラ画角内のどの位置にマーカーが存在するかを簡単に認識することができる。
【００９３】
７．前記マーカー装置は、前記再帰反射部材と、当該再帰反射部材を包含する拡散反射部材とから構成されていることを特徴とする６記載の位置姿勢測定装置。
【００９４】
（対応する発明の実施の形態）
この発明に関する実施の形態は、上記した第４実施形態に対応する。
【００９５】
（作用）
再帰反射マーカーの周囲に配置された拡散マーカーで反射された色データに基づいて、カメラによって撮像された空間領域のどこにマーカーが位置しているかを検出する。
【００９６】
（効果）
再帰反射マーカーを装着した物体（例えば人間）自身がどの空間座標にいるのかを認識することができる。
【図面の簡単な説明】
【００９７】
【図１】本発明の第１実施形態に係る位置姿勢計測装置の構成を示すブロック図である。
【図２】第１実施形態のマーカー装置１０１の一構成例を示す図である。
【図３】（Ａ）、（Ｂ）は、パターンフィルタ１０４の構成例を示す図である。
【図４】撮像装置１０，２０がマーカー装置１００を撮影する方向によって魚眼レンズ１０３の瞳像の色が変化するようすを示す図である。
【図５】第１実施形態の変形例を説明するための図である。
【図６】第１実施形態の他の変形例を説明するための図である。
【図７】本発明の第２実施形態に係る位置姿勢計測装置の構成を示すブロック図である。
【図８】第２実施形態のマーカー装置１０１の一構成例を示す図である。
【図９】第２実施形態の変形例を説明するための図である。
【図１０】（ａ）は一方のマーカーが他方のマーカーの画角内に入っていない状態を示し、（ｂ）は双方のマーカーがお互いの画角内に入っている状態を示す図である。
【図１１】第２実施形態の変形例を説明するための図である。
【図１２】本発明の第３実施形態に係る位置姿勢計測装置の構成を示すブロック図である。
【図１３】図１２の一部を拡大して示す図である。
【図１４】カラーＬＥＤをアレイ状に配置する一構成例を示す図である。
【図１５】第３実施形態の変形例を説明するための図である。
【図１６】図１５の構成を用いた場合の利点を説明するための図である。
【図１７】第３実施形態の他の変形例を説明するための図である。
【図１８】再帰反射マーカー３５０の一例を示す図である。
【図１９】第４実施形態の作用効果を説明するための図（その１）である。
【図２０】第４実施形態の作用効果を説明するための図（その２）である。
【図２１】再帰反射マーカー３５０−１，３５０−２を人間３６１に装着したようすを示す図である。
【符号の説明】
【００９８】
１０  撮像装置
１１  画像送信装置
２０  撮像装置
２１  画像送信装置
１００  マーカー装置
１０１  照明制御装置
１０２  照明系
１０３  魚眼レンズ
１０４  パターンフィルタ
１０５  照明光源
２００  位置姿勢算出装置
２０１  画像受信装置
２０３  マーカー記憶装置
２０４  マーカー検出装置
２０５  キャリブレーション装置
２０６  パターン記憶装置
２０７  位置算出装置
２０８  姿勢同定装置
２１１  データ出力装置
【図１】
2008026236.tif 000003
【図２】
2008026236.tif 000004
【図３】
2008026236.tif 000005
【図４】
2008026236.tif 000006
【図５】
2008026236.tif 000007
【図６】
2008026236.tif 000008
【図７】
2008026236.tif 000009
【図８】
2008026236.tif 000010
【図９】
2008026236.tif 000011
【図１０】
2008026236.tif 000012
【図１１】
2008026236.tif 000013
【図１２】
2008026236.tif 000014
【図１３】
2008026236.tif 000015
【図１４】
2008026236.tif 000016
【図１５】
2008026236.tif 000017
【図１６】
2008026236.tif 000018
【図１７】
2008026236.tif 000019
【図１８】
2008026236.tif 000020
【図１９】
2008026236.tif 000021
【図２０】
2008026236.tif 000022
【図２１】
2008026236.tif 000023