(57)【要約】【課題】通常の撮像動作では捉えきれないぐらい高速に移動する物体の位置情報を高精度に取得することができる位置情報取得システム、位置情報取得方法及びプログラムを提供する。【解決手段】カメラ２は、撮像素子、光学系及びシャッタを有し、シャッタを露光時間開いて光学系を介して撮像素子により対象物５を撮像する。プロジェクタ３は、カメラ２とは異なる位置に設置され、パターンを対象物５に投影する。露光時間内で、プロジェクタ３が対象物５に投影するパターンを、異なるパターンに順次切り替えつつ、カメラ２で対象物５が撮像される。情報取得部１１は、対象物５の撮像画像に写るパターンに基づいて、対象物５の位置情報を取得する。【選択図】図１
2019027894.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子、光学系及びシャッタを有し、前記シャッタを露光時間開いて前記光学系を介して前記撮像素子により対象物を撮像するカメラと、
前記カメラとは異なる位置に設置され、パターンを前記対象物に投影するプロジェクタと、
前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する情報取得部と、
を備え、
前記露光時間内で、前記プロジェクタが前記対象物に投影するパターンを、異なるパターンに順次切り替えつつ、前記カメラで前記対象物を撮像し、
前記情報取得部は、前記対象物の撮像画像に写るパターンに基づいて、前記対象物の位置情報を取得する、
位置情報取得システム。
【請求項２】
前記情報取得部は、前記撮像画像に写るパターンと、前記プロジェクタで投影された異なるパターンのうち一つとの対応付けを行うことにより、前記対象物の奥行き又は速度情報を取得する、
請求項１に記載の位置情報取得システム。
【請求項３】
前記情報取得部は、前記撮像画像に写るパターンを構成する全てのパターンについて、前記対象物の奥行き又は速度情報を取得する、
請求項２に記載の位置情報取得システム。
【請求項４】
前記情報取得部は、前記プロジェクタで投影されたパターンを合成し、
合成されたパターンと、撮像画像に写るパターンとのマッチングにより、前記対象物の奥行き又は速度情報を取得する、
請求項１に記載の位置情報取得システム。
【請求項５】
前記情報取得部は、対応する奥行きが異なるパターンを合成し、
それぞれのパターンに対応する位置に基づいて、前記対象物の奥行き又は速度情報を取得する、
請求項４に記載の位置情報取得システム。
【請求項６】
前記情報取得部は、前記撮像画像に写るパターンを、前記合成されたパターンを構成する個々のパターンにそれぞれ分解し、
分解されたパターン毎に、前記対象物の位置を検出することにより、前記対象物の奥行き又は速度情報を検出する、
請求項４又は５に記載の位置情報取得システム。
【請求項７】
前記対象物の位置と、前記カメラの撮像画像に写るパターンとが関連付けられて記憶されるデータベースを備え、
前記情報取得部は、前記撮像画像に写るパターンと、前記データベースに記憶されたパターンとのマッチングにより、前記対象物の奥行き又は速度情報を取得する、
請求項１から６のいずれか一項に記載の位置情報取得システム。
【請求項８】
前記情報取得部は、前記プロジェクタと前記カメラの位置関係を示す情報を用いて、三角測量法により、前記撮像画像内のパターンの位置から前記対象物の奥行き又は速度情報を算出する、
請求項１から６のいずれか一項に記載の位置情報取得システム。
【請求項９】
前記情報取得部は、
前記対象物の位置の計測可能範囲から広い間隔で選択された位置に対応するパターンを前記データベースから幾つか抽出しつつ、抽出されたパターンと前記撮像画像に写るパターンとのマッチングを行って、前記撮像画像に写るパターンに近いパターンに対応する基準位置を探索し、
前記計測可能範囲よりも狭く前記基準位置を基準とする範囲内の位置に対応するパターンを前記データベースから幾つか抽出しつつ、抽出されたパターンと前記撮像画像に写るパターンとのマッチングを行って、前記撮像画像に写るパターンに最も近いパターンを探索し、探索されたパターンに対応する位置を検出する、
請求項７に記載の位置情報取得システム。
【請求項１０】
前記露光時間内に前記プロジェクタで投影されたパターンの組み合わせによる合成パターンを記憶する記憶部を備え、
前記情報取得部は、前記対象物の位置情報の取得に先だって、
前記撮像画像に写るパターンと、前記記憶部に記憶された合成パターンとのマッチングにより、前記撮像画像が撮像された露光時間内に前記プロジェクタにより投影されたパターンの組み合わせを特定する、
請求項１から９のいずれか一項に記載の位置情報取得システム。
【請求項１１】
前記プロジェクタが投影するパターンには、パターンの識別情報が含まれ、
前記情報取得部は、前記対象物の位置情報の取得に先だって、
前記撮像画像に写る識別情報に基づいて、前記撮像画像が撮像された露光時間内に前記プロジェクタにより投影されたパターンの組み合わせを特定する、
請求項１から９のいずれか一項に記載の位置情報取得システム。
【請求項１２】
前記露光時間内に、前記対象物に投影される複数のパターンは、それぞれランダムに生成されたパターンである、
請求項１から１１のいずれか一項に記載の位置情報取得システム。
【請求項１３】
前記対象物に投影されるパターンは、
ドットパターン、グリッドパターン又は前記プロジェクタと前記カメラとによって仮想的に定義されるエピポーラ線と交差するラインパターンである、
請求項１から１２のいずれか一項に記載の位置情報取得システム。
【請求項１４】
前記露光時間内に、前記対象物に投影される複数のパターンは、それぞれ特徴空間において互いに直交するパターンである、
請求項１から１３のいずれか一項に記載の位置情報取得システム。
【請求項１５】
プロジェクタによりパターンを対象物に投影しつつ、前記プロジェクタとは異なる位置に設置されたカメラで対象物を撮像し、前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する位置情報取得方法であって、
前記カメラが撮像画像を撮像する露光時間内に前記プロジェクタが前記対象物に投影するパターンを切り替えながら、前記カメラで前記対象物を撮像する撮像工程と、
前記対象物の撮像画像に写るパターンに基づいて、前記対象物の位置情報を取得する情報取得工程と、
を含む位置情報取得方法。
【請求項１６】
プロジェクタによりパターンを対象物に投影しつつ、前記プロジェクタとは異なる位置に設置されたカメラで対象物を撮像し、前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得するコンピュータを、
前記カメラが撮像画像を撮像する露光時間内に前記プロジェクタが前記対象物に投影するパターンを切り替えながら、前記カメラで前記対象物を撮像する制御手段、
前記対象物の撮像画像に写るパターンに基づいて、前記対象物の位置情報を取得する情報取得手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置情報取得システム、位置情報取得方法及びプログラムに関する。
【背景技術】
【０００２】
高速に移動する物体等の３次元計測の需要が増している。例えば、エンジンや発電所で利用されるタービン羽や、爆発の状態を３次元計測し、それらの解析・検査を高精度に行えるようにすることが望まれている。
【０００３】
３次元計測においては、カメラ及びパターンプロジェクタを備えるシステムを用いた能動計測が行われるのが一般的である。これは、システムの構成が単純であり、視差による高精度な計測を実現することができるためである。高速に移動する物体の計測には、ハイスピードカメラが用いられるが、ハイスピードカメラは高価であるうえ、ハイスピードカメラで撮像してもぼけるぐらい高速に移動する物体については、やはり計測が困難になる。さらに、高速シャッタにより、１フレームあたりの光の量が大幅に減少する。
【０００４】
このような背景から、超解像技術を用いて１フレームの画像から動画像を得る技術が開示されている。例えば非特許文献１には、１フレームの画像を撮像する間に高速に変化する符号化撮像を行うシステムが開示されている。このシステムは、露光時間中に高速に符号化開口の形状を変更し、超解像技術により１フレームの画像から動画像を得る。しかしながら、このシステムでは、画素ごとに露光を行う特殊な機器が必要となる。
【０００５】
また、非特許文献２には、ピクセル単位でランダムに符号化された絞りによる撮像を行うシステムが開示されている。このシステムは、イメージセンサの各ピクセルでランダムに露光し、学習によりボケを解析する。このシステムでも、超解像技術により１フレームから動画像を生成することができるが、やはり特殊な機器が必要となる。
【０００６】
また、非特許文献３には、擬似ランダムに符号化された絞りによる撮像を行うシステムが開示されている。このシステムは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いて擬似ランダム露光を実現し、実用的なサンプリングによる高空間・時間解像度動画の再構成を行う。このシステムでも、超解像技術により１フレームから動画像を生成可能であるが、やはり特殊な機器が必要となる。
【０００７】
また、非特許文献４には、カメラの露光時間内にセンサを点滅させて撮像を行うシステムが開示されている。このシステムは、符号化されたタイミングでライトを点滅させ、１フレームの細かい分割により高い解像度を実現する。しかしながら、このシステムでは、１枚の画像から動画像を得ることはできない。
【０００８】
また、非特許文献５には、移動物体に対して複数のパターンを投影するシステムが開示されている。このシステムは、複数の異なる縦縞パターンを投影してそれぞれのパターンに対応する撮像画像を得て、物体の３次元形状を計測する。このシステムによれば、単画像から復元された３次元形状の精度を向上することができるが、カメラの撮像では捉えきれないぐらいの物体の動きの再現は困難である。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】H.Nagahara, C.Zhou, T.Watanabe，H.Ishiguro，and S.K.Nayar, ”Programmable aperture camera using lcos". ECCV,337−350.2010．
【非特許文献２】Y.Hitomi, J.Gu, M.Gupta, T.Mitsunaga, and S.K.Nayar, " Video from a single coded exposure photograph using a learned over-complete dictionary". ICCV, 287-294.2011.
【非特許文献３】H.Nagahara, T.Sonoda, K.Endo, Y.Sugiyama, and R.i.Taniguchi."Highspeed imaging using cmos image sensor with quasi pixel-wise exposure".ICCP, 1-11. 2016.
【非特許文献４】A.Veeraraghavan, D.Reddy, and R.Raskar, "Coded strobing photography:"Compressive sensing of high speed periodic videos." TPAMI, 33(4):671-686,2011.
【非特許文献５】Yuichi Taguchi, Amit Agrawal, and Oncel Tuzel,"Motion-Aware StructuredLight Using Spatio-Temporal Decodable Patterns", pp.832-845, Springer Berlin Heidelberg, Berlin, Heidelberg, 2012.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述のような従来システムは、通常の撮像動作では捉えきれないぐらい高速に移動する物体の動きや形状を計測するのは困難であるか、高速に移動する物体の動きや形状を捉えるために特殊な機器を必要とするものであった。
【００１１】
本発明は、上記実情に鑑みてなされたものであり、通常の撮像動作では捉えきれないぐらい高速に移動する物体の位置情報を高精度に取得することができる位置情報取得システム、位置情報取得方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明の第１の観点に係る位置情報取得システムは、
撮像素子、光学系及びシャッタを有し、前記シャッタを露光時間開いて前記光学系を介して前記撮像素子により対象物を撮像するカメラと、
前記カメラとは異なる位置に設置され、パターンを前記対象物に投影するプロジェクタと、
前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する情報取得部と、
を備え、
前記露光時間内で、前記プロジェクタが前記対象物に投影するパターンを、異なるパターンに順次切り替えつつ、前記カメラで前記対象物を撮像し、
前記情報取得部は、前記対象物の撮像画像に写るパターンに基づいて、前記対象物の位置情報を取得する。
【００１３】
この場合、前記情報取得部は、前記撮像画像に写るパターンと、前記プロジェクタで投影された異なるパターンのうち一つとの対応付けを行うことにより、前記対象物の奥行き又は速度情報を取得する、
こととしてもよい。
【００１４】
また、前記情報取得部は、前記撮像画像に写るパターンを構成する全てのパターンについて、前記対象物の奥行き又は速度情報を取得する、
こととしてもよい。
【００１５】
前記情報取得部は、前記プロジェクタで投影されたパターンを合成し、
合成されたパターンと、撮像画像に写るパターンとのマッチングにより、前記対象物の奥行き又は速度情報を取得する、
こととしてもよい。
【００１６】
前記情報取得部は、対応する奥行きが異なるパターンを合成し、
それぞれのパターンに対応する位置に基づいて、前記対象物の奥行き又は速度情報を取得する、
こととしてもよい。
【００１７】
前記情報取得部は、前記撮像画像に写るパターンを、前記合成されたパターンを構成する個々のパターンにそれぞれ分解し、
分解されたパターン毎に、前記対象物の位置を検出することにより、前記対象物の奥行き又は速度情報を検出する、
こととしてもよい。
【００１８】
前記対象物の位置と、前記カメラの撮像画像に写るパターンとが関連付けられて記憶されるデータベースを備え、
前記情報取得部は、前記撮像画像に写るパターンと、前記データベースに記憶されたパターンとのマッチングにより、前記対象物の奥行き又は速度情報を取得する、
こととしてもよい。
【００１９】
前記情報取得部は、前記プロジェクタと前記カメラの位置関係を示す情報を用いて、三角測量法により、前記撮像画像内のパターンの位置から前記対象物の奥行き又は速度情報を算出する、
こととしてもよい。
【００２０】
前記情報取得部は、
前記対象物の位置の計測可能範囲から広い間隔で選択された位置に対応するパターンを前記データベースから幾つか抽出しつつ、抽出されたパターンと前記撮像画像に写るパターンとのマッチングを行って、前記撮像画像に写るパターンに近いパターンに対応する基準位置を探索し、
前記計測可能範囲よりも狭く前記基準位置を基準とする範囲内の位置に対応するパターンを前記データベースから幾つか抽出しつつ、抽出されたパターンと前記撮像画像に写るパターンとのマッチングを行って、前記撮像画像に写るパターンに最も近いパターンを探索し、探索されたパターンに対応する位置を検出する、
こととしてもよい。
【００２１】
前記露光時間内に前記プロジェクタで投影されたパターンの組み合わせによる合成パターンを記憶する記憶部を備え、
前記情報取得部は、前記対象物の位置情報の取得に先だって、
前記撮像画像に写るパターンと、前記記憶部に記憶された合成パターンとのマッチングにより、前記撮像画像が撮像された露光時間内に前記プロジェクタにより投影されたパターンの組み合わせを特定する、
こととしてもよい。
【００２２】
前記プロジェクタが投影するパターンには、パターンの識別情報が含まれ、
前記情報取得部は、前記対象物の位置情報の取得に先だって、
前記撮像画像に写る識別情報に基づいて、前記撮像画像が撮像された露光時間内に前記プロジェクタにより投影されたパターンの組み合わせを特定する、
こととしてもよい。
【００２３】
前記露光時間内に、前記対象物に投影される複数のパターンは、それぞれランダムに生成されたパターンである、
こととしてもよい。
【００２４】
前記対象物に投影されるパターンは、
ドットパターン、グリッドパターン又は前記プロジェクタと前記カメラとによって仮想的に定義されるエピポーラ線と交差するラインパターンである、
こととしてもよい。
【００２５】
前記露光時間内に、前記対象物に投影される複数のパターンは、それぞれ特徴空間において互いに直交するパターンである、
こととしてもよい。
【００２６】
本発明の第２の観点に係る位置情報取得方法は、
プロジェクタによりパターンを対象物に投影しつつ、前記プロジェクタとは異なる位置に設置されたカメラで対象物を撮像し、前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する位置情報取得方法であって、
前記カメラが撮像画像を撮像する露光時間内に前記プロジェクタが前記対象物に投影するパターンを切り替えながら、前記カメラで前記対象物を撮像する撮像工程と、
前記対象物の撮像画像に写るパターンに基づいて、前記対象物の位置情報を取得する情報取得工程と、
を含む。
【００２７】
本発明の第３の観点に係るプログラムは、
プロジェクタによりパターンを対象物に投影しつつ、前記プロジェクタとは異なる位置に設置されたカメラで対象物を撮像し、前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得するコンピュータを、
前記カメラが撮像画像を撮像する露光時間内に前記プロジェクタが前記対象物に投影するパターンを切り替えながら、前記カメラで前記対象物を撮像する制御手段、
前記対象物の撮像画像に写るパターンに基づいて、前記対象物の位置情報を取得する情報取得手段、
として機能させる。
【発明の効果】
【００２８】
本発明によれば、カメラの撮像素子で撮像画像が撮像される露光時間内において、プロジェクタが対象物に投影するパターンが、異なるパターンに順次切り替えられる。したがって、カメラの撮像画像は、対象物に投影された複数の異なるパターンの合成パターンを含む画像となる。仮に、露光時間内において同じパターンが投影されていた場合に対象物が高速に移動すると、撮像画像に写るパターンはその移動の方向に沿って連続的に延びるボケたパターンとなる。これに対して、露光時間内でパターンを切り替えれば、対象物が高速に移動しても、パターンは離散的に配列されるようになるので、パターンのボケが抑制される。プロジェクタとカメラとは視差を持つため、撮像画像内の各パターンの位置は、対象物の位置に応じて変化する。撮像画像ではパターンのボケが抑制されているため、各パターンの位置を高精度に検出し、結果的に高速に移動する対象物の位置情報を高精度に取得することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施の形態１に係る位置情報取得システムの構成を示すブロック図である。
【図２】カメラの構成を示す模式図である。
【図３】プロジェクタの構成を示す模式図である。
【図４】プロジェクタによって投影される５つのパターンを示す図である。
【図５】パターンが切り替えられるタイミングと、カメラで撮像が行われる露光時間との関係を示すタイミングチャートである。
【図６】図６（Ａ）は、プロジェクタによって投影される複数のパターンと、カメラによって撮像されるパターンとの関係を示す模式図である。図６（Ｂ）は、パターンを切り替えることなく撮像された撮像画像の一例を示す図である。
【図７】情報処理装置のハードウエア構成を示す図である。
【図８】パターン位置データベースのデータ構造を示す図である。
【図９】合成パターンの一例を示す図である。
【図１０】ラフ計測とファイン計測とを示す図である。
【図１１】図１１（Ａ）、図１１（Ｂ）及び図１１（Ｃ）は、速度を検出する原理を示す図である。
【図１２】本発明の実施の形態１に係る位置情報取得システムの動作を示すフローチャートである。
【図１３】図１３（Ａ）は、奥行きマップの一例を示す図である。図１３（Ｂ）は、速度マップの一例を示す図である。
【図１４】本発明の実施の形態２に係る位置情報取得システムの動作を示すフローチャートである。
【図１５】パターンマッチングの動作（その１）を示す模式図である。
【図１６】パターンマッチングの動作（その２）を示す模式図である。
【図１７】パターンマッチングの動作（その３）を示す模式図である。
【図１８】データベースに記憶されたパターンの合成（その１）を示す図である。
【図１９】データベースに記憶されたパターンの合成（その２）を示す図である。
【図２０】図２０（Ａ）は、扇風機の羽根の撮像画像ＩＭである。図２０（Ｂ）は、扇風機の羽根の奥行きマップである。図２０（Ｃ）は、回転する扇風機の羽根の動きを各時点において計測された羽根の奥行きの変化として示すイメージ図である。
【図２１】図２１（Ａ）は、ドットパターンに付すマーカの一例である。図２１（Ｂ）は、撮像画像に写るマーカの一例である。
【発明を実施するための形態】
【００３０】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。図中、同一又は対応する部分には同一の符号を付す。
【００３１】
実施の形態１．
まず、本発明の実施の形態１について説明する。
【００３２】
図１に示すように、位置情報取得システム１は、奥行き方向であるｘ軸方向に関して計測可能範囲Ｌに存在する対象物５の位置（奥行き）又は速度情報を検出する。位置情報取得システム１は、カメラ２と、プロジェクタ３と、情報処理装置４と、を備える。カメラ２とプロジェクタ３は同期するように構成される場合と、非同期の場合とが考えられる。
【００３３】
カメラ２は、対象物５を撮像する。図２に示すように、カメラ２は、光学系２０と、撮像素子２１と、レンズシャッタ２２と、制御部２３とを備える。光学系２０は、レンズ等の光学部品が組み合わせて構成されている。光学系２０は、外部の光を入射して撮像素子２１に出射する。撮像素子２１上には、光学系２０を介して入射した光により、対象物５の像が結像する。
【００３４】
レンズシャッタ２２は、通常は閉じており、光学系２０における光の通過を遮断している。制御部２３は、レンズシャッタ２２のコントローラであり、撮像時にレンズシャッタ２２を露光時間（シャッタスピード）Ｔだけ開く。これにより、対象物５からの光は光学系２０を通過し、撮像素子２１上には、露光時間Ｔだけ対象物５の像が結像する。撮像素子２１は、露光時間Ｔだけ撮像素子２１上に結像する対象物５の像に対応する撮像画像データを生成して情報処理装置４へ出力する。なお、カメラ２の焦点深度は、対象物５の計測可能範囲Ｌとなっており、計測可能範囲Ｌ内の対象物５をボケなく撮像することができる。
【００３５】
図１に戻り、プロジェクタ３は、カメラ２とは異なる位置に設置されている。プロジェクタ３は、計測用のパターンを対象物５に投影する。図３に示すように、プロジェクタ３は、光源３０と、液晶表示素子３１と、パターン制御部３２と、光学系３３と、を備える。光源３０は、液晶表示素子３１に表示用の光を出射する。液晶表示素子３１は、この光を透過させる。
【００３６】
液晶表示素子３１には、投影されるパターンが表示される。これにより、液晶表示素子３１を透過する光は、液晶表示素子３１に表示されたパターンの情報を含む光（パターン投影光）となる。パターン制御部３２は、液晶表示素子３１に表示するパターンを制御する。液晶表示素子３１を透過した光は、光学系３３に入射する。光学系３３は、この光を出射し、液晶表示素子３１に表示されたパターンを対象物５に投影する。
【００３７】
液晶表示素子３１には、例えば図４に示す５つのパターンＰ１〜Ｐ５を表示可能である。パターンＰ１〜Ｐ５は、ドットがランダムに配列されたドットパターンであり、ドットの位置がそれぞれ異なる。パターン制御部３２は、図５に示すように、パターンＰ１→Ｐ２→Ｐ３→Ｐ４→Ｐ５の順で、パターンを切り替えながら（周期的に）順次表示させることができる。その切り替え時間は、カメラ２における露光時間Ｔよりも十分に短い時間となっている。本実施の形態では、露光時間Ｔ内では、３枚のパターンがプロジェクタ３によって表示される。
【００３８】
この位置情報取得システム１では、カメラ２で画像を撮像する露光時間Ｔ内で、プロジェクタ３が対象物５に投影するパターンを、異なるパターンに順次切り替えつつ、カメラ２で対象物５が撮像される。例えば、図５に示すように、プロジェクタ３は、対象物５に投影するパターンを、ドットパターンＰ１からドットパターンＰ２に切り替え、ドットパターンＰ２からドットパターンＰ３に切り替え、ドットパターンＰ３からドットパターンＰ４に切り替え、ドットパターンＰ４からドットパターンＰ５に切り替える。プロジェクタ３で投影されるパターンが切り替えられる間、カメラ２では、レンズシャッタ２２が制御部２３により開けられ、露光時間Ｔの間、対象物５からの光を、光学系２０を介して撮像素子２１で受光する。この結果、カメラ２で撮像画像ＩＭが得られる。図６（Ａ）に示すように、撮像画像ＩＭは、対象物５上で３つのドットパターンＰｎ（ｎは１〜５のいずれか）が合成された画像となる。なお、プロジェクタ３によるパターンの投影タイミングと、カメラ２における撮像のタイミングとは同期していない場合は、露光時間Ｔ中に投影される３つのドットパターンは、不定である。この場合は、どのパターンが投影されたのか推定する必要がある。
【００３９】
ここで、仮に、プロジェクタ３において、例えば、露光時間Ｔ中にドットパターンＰ１のみを投影した場合について考える。この場合、対象物５が高速でｘ軸方向に移動していたとすると、カメラ２で撮像された画像は、例えば図６（Ｂ）に示すように、ドットパターンＰ１が、対象物５の移動に沿って延びてボケた撮像画像ＩＭ’となる。これに対して、撮像画像ＩＭ（図６（Ａ））では、露光時間Ｔ中にドットパターンＰｎの同じドットが対象物５の移動に伴って移動するわけでなく、異なるドットが露光時間Ｔ中に個別に表示されるようになるので、各ドットがボケることなく鮮明に表示される。
【００４０】
情報処理装置４は、撮像画像ＩＭに写るパターンに基づいて、対象物５の位置情報を取得する。対象物５の位置情報を取得する方法には、本実施の形態に係る方法の他にも様々な方法があるが、例えば２通りの方法がある。
（Ｍ１）撮像画像ＩＭから個々のドットパターンＰｎとの対応関係を取得する方法
（Ｍ２）撮像画像ＩＭと、撮影されている全てのドットパターンＰｎをまとめて対応関係を得る方法
本実施の形態では、情報処理装置４は、（Ｍ１）の方法により、対象物５の位置情報を取得する。
【００４１】
図７に示すように、情報処理装置４は、ハードウエア構成として、内部バス４０と、制御部４１、主記憶部４２、外部記憶部４３、操作部４４、表示部４５及び通信部４６を備える。主記憶部４２、外部記憶部４３、操作部４４、表示部４５及び通信部４６はいずれも内部バス４０を介して制御部４１に接続されている。
【００４２】
制御部４１は、ＣＰＵ（Central Processing Unit）等から構成されている。このＣＰＵが、外部記憶部４３に記憶されているプログラム４９を実行することにより、情報処理装置４の各構成要素が実現される。
【００４３】
主記憶部４２は、ＲＡＭ（Random-Access Memory）等から構成されている。主記憶部４２には、外部記憶部４３に記憶されているプログラム４９がロードされる。この他、主記憶部４２は、制御部４１の作業領域（データの一時記憶領域）として用いられる。
【００４４】
外部記憶部４３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成される。外部記憶部４３には、制御部４１に実行させるためのプログラム４９があらかじめ記憶されている。また、外部記憶部４３は、制御部４１の指示に従って、このプログラム４９の実行の際に用いられるデータを制御部４１に供給し、制御部４１から供給されたデータを記憶する。
【００４５】
操作部４４は、キーボード及びマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス４０に接続するインターフェイス装置から構成されている。操作部４４を介して、操作者が操作した内容に関する情報が制御部４１に入力される。
【００４６】
表示部４５は、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などから構成され、操作者が操作情報を入力する場合は、操作用の画面が表示される。
【００４７】
通信部４６は、シリアルインターフェイスまたはパラレルインターフェイスから構成されている。通信部４６は、通信ネットワークを介してカメラ２と接続されており、カメラ２から画像データを受信する。
【００４８】
情報処理装置４の各種構成要素は、プログラム４９が、制御部４１、主記憶部４２、外部記憶部４３、操作部４４、表示部４５及び通信部４６などをハードウエア資源として用いて実行されることによってその機能を発揮する。
【００４９】
図１に戻り、情報処理装置４は、計測制御部（制御手段）１０と、情報取得部（情報取得手段）１１と、記憶部１２と、を備える。
【００５０】
計測制御部１０は、露光時間Ｔ内で、プロジェクタ３が対象物５に投影するパターンを、異なるパターンに順次切り替えている間に、カメラ２で対象物５を撮像するように、カメラ２及びプロジェクタ３を制御する。計測制御部１０は、図７の制御部４１、主記憶部４２、操作部４４及び通信部４６等によって実現されている。
【００５１】
情報取得部１１は、カメラ２で撮像された撮像画像ＩＭに写るパターンに基づいて、対象物５の位置情報を取得する。情報取得部１１は、図７の制御部４１、主記憶部４２及び通信部４６等によって実現されている。
【００５２】
記憶部１２には、プロジェクタ３によって投影されるパターンに関する各種データが記憶される。記憶部１２は、図７の主記憶部４２及び外部記憶部４３によって実現されている。
【００５３】
記憶部１２に記憶されるデータには、例えば、パターン位置データベース１３がある。パターン位置データベース１３は、図８に示すように、対象物５のｘ位置ｘｋと、カメラ２の撮像画像に写るドットパターンＰ１〜Ｐ５とが関連付けられて記憶されるデータベースである。情報取得部１１は、カメラ２で撮像された撮像画像ＩＭに写るドットパターンＰ１〜Ｐ５と、パターン位置データベース１３に記憶されたパターンとの対応付けにより、対象物５の位置情報を取得する。
【００５４】
実際には、カメラ２では、前述のように、ドットパターンＰｎのうちの３つのパターンの合成パターンが撮像される。ここで、図９に示すように、ドットパターンＰ１、Ｐ２、Ｐ３が合成されたパターンを合成パターンＳＰ１とし、ドットパターンＰ２、Ｐ３、Ｐ４が合成されたパターンを合成パターンＳＰ２とし、ドットパターンＰ３、Ｐ４、Ｐ５が合成されたパターンを合成パターンＳＰ３とし、ドットパターンＰ４、Ｐ５、Ｐ１が合成されたパターンを合成パターンＳＰ４とし、ドットパターンＰ５、Ｐ１、Ｐ２が合成されたパターンを合成パターンＳＰ５とする。
【００５５】
上述のように、カメラ２の撮像とプロジェクタ３によるパターンの切り替えのタイミングとは同期していない場合も想定されるため、その場合には、カメラ２の撮像画像に含まれる合成パターンＳＰｎは、どのドットパターンＰｎによって構成されているのかが不明である。そこで、情報取得部１１は、撮像画像に写るパターンと、記憶部１２に記憶された個々のパターンＰ１〜Ｐ５とのマッチングにより、撮像画像が撮像された露光時間Ｔ内にプロジェクタ３により投影されたドットパターンＰｎの組み合わせを特定する。そして、情報取得部１１は、撮像画像に含まれるパターンを、特定された組み合わせに係る個々のドットパターンＰｎにそれぞれ対応付け、対応付けられたドットパターンＰｎ毎に、対象物５の位置を検出することにより、対象物５の奥行き又は速度情報を検出する。
【００５６】
実際には、パターン位置データベース１３において、ドットパターンＰｎと関連付けられて記憶されるｘ位置ｘｋは多数である。このため、総当たりでマッチング処理を行うと、処理に時間を要するようになる。そこで、情報取得部１１は、図１０に示すように、計測可能範囲Ｌに含まれるｘ位置ｘｋ（ｎ＝１、２、３、…）から広い間隔Δｘ１で選択された位置に対応するドットパターンＰｎをパターン位置データベース１３から幾つか抽出しつつ、抽出されたドットパターンＰｎと撮像画像に写るパターンとのマッチングを行って、撮像画像に写るパターンに近いドットパターンＰｎに対応する基準位置ＲＰを探索する。この計測をラフあるいはＣｏａｒｓｅ計測ともいう。
【００５７】
さらに、情報取得部１１は、計測可能範囲Ｌよりも狭く基準位置ＲＰよりも狭い範囲Ｌ１内の位置に対応するドットパターンＰｎをパターン位置データベース１３から幾つか抽出しつつ、抽出されたドットパターンＰｎと撮像画像に写るパターンとのマッチングを行って、撮像画像に写るパターンに近いドットパターンＰｎを探索し、探索されたドットパターンＰｎに対応する位置を検出する。この位置を検出位置ＤＰとし、この計測をファイン計測ともいう。
【００５８】
情報取得部１１は、特定されたドットパターンＰｎそれぞれについて検出位置ＤＰを検出する。対象物５がｘ軸方向に高速に移動していれば、それぞれのドットパターンＰｎの検出位置ＤＰも異なったものとなる。ドットパターンＰｎの表示順は決まっているので、ドットパターンＰｎの検出位置ＤＰに基づいて、対象物５の移動の向きや速度を求めることができる。
【００５９】
例えば、図１１（Ａ）、図１１（Ｂ）及び図１１（Ｃ）に示すように、対象物５としての球形体５Ａが＋ｘ方向へ移動するか、対象物５としての三角形体５Ｂが−ｘ方向へ移動する場合、球形体５Ａ，三角形体５Ｂ上に連続して投影されるドットパターンＰｎの投影位置も異なったものとなる。情報取得部１１は、各ドットパターンＰｎをパターン位置データベース１３から読み出してマッチングを行い、それぞれのパターンが最もマッチングするｘ位置（検出位置ＤＰ）を検出する。そして、検出位置ＤＰから、球形体５Ａ、三角形体５Ｂの奥行き及び速度を求めることができる。
【００６０】
情報取得部１１による各ドットパターンＰｎとのマッチングによる位置検出は、ドット毎に行うようにしてもよい。このようにすれば、対象物５の形状、図１１（Ａ）〜図１１（Ｃ）に示すように、球形体５Ａ、三角形体５Ｂの移動の向きがそれぞれ違うように、撮像視野内に移動の向きが異なる対象物５が存在していたとしても、それぞれの移動の向き及び速度を正確に検出することができる。
【００６１】
次に、本実施の形態に係る位置情報取得システム１の動作について説明する。
【００６２】
図１２に示すように、まず、情報取得部１１は、パターン位置データベース１３を生成する（ステップＳ１）。具体的には、対象物５としてのフラットなボードを様々なｘ位置ｘｋに置きながら、露光時間Ｔ内にプロジェクタ３によりドットパターンＰｎを投影し、カメラ２によりボード上に投影されたパターンを撮像する。撮像されたドットパターンＰｎは、そのボードが置かれたｘ位置ｘｋと関連付けられて記憶部１２のパターン位置データベース１３に格納される。
【００６３】
続いて、計測制御部１０は、対象物５の撮像を行う（ステップＳ２）。具体的には、計測制御部１０は、対象物５を計測可能範囲Ｌ内に置いて、プロジェクタ３により投影するドットパターンＰｎを切り替えながら、カメラ２によって対象物５を撮像する。この撮像により得られた撮像画像は、情報処理装置４に送られる。
【００６４】
続いて、情報取得部１１は、パターン特定を行う（ステップＳ３）。パターン特定は、カメラ２とプロジェクタ３とが同期して動作しておらず、投影されたパターンが特定されてない場合にのみ行われる。情報取得部１１は、撮像画像に写るパターンと、記憶部１２に記憶されたパターンＰ１〜Ｐ５との対応付けにより、撮像画像が撮像された露光時間Ｔ内にプロジェクタ３により投影されたドットパターンＰｎの組み合わせを特定する。
【００６５】
続いて、情報取得部１１は、特定された個々のパターンについてそれぞれラフ計測を行う（ステップＳ４）。具体的には、図１０に示すように、情報取得部１１は、対象物５の位置の計測可能範囲Ｌから広い間隔ΔＸ１で選択されたｘ位置ｘｋに対応するドットパターンＰｎ（ステップＳ３で特定されたドットパターンＰｎ）を記憶部１２のパターン位置データベース１３から幾つか抽出しつつ、抽出されたドットパターンＰｎと撮像画像で分解されたドットパターンＰｎとのマッチングを行って、撮像画像から分解抽出されたドットパターンＰｎに近いドットパターンＰｎに対応するｘ位置ｘｋである基準位置ＲＰを探索する。
【００６６】
このマッチングは、特定された全てのドットパターンＰｎで実行される。したがって、特定されたドットパターンＰｎそれぞれについて基準位置ＲＰが検出される。
【００６７】
続いて、情報取得部１１は、ファイン計測を行う（ステップＳ５）。具体的には、情報取得部１１は、計測可能範囲Ｌよりも狭く基準位置ＲＰよりも狭い範囲Ｌ１内のｘ位置ｘｋに対応するドットパターンＰｎ（ステップＳ３で特定されたドットパターンＰｎ）を記憶部１２のパターン位置データベース１３から幾つか抽出しつつ、抽出されたドットパターンＰｎと撮像画像から分解抽出されたドットパターンＰｎとのマッチングを行って、撮像画像に写るドットパターンＰｎに近いドットパターンＰｎを探索し、探索されたドットパターンＰｎに対応するｘ位置ｘｋを検出位置ＤＰとして検出する。
【００６８】
続いて、情報取得部１１は、マップ作成を行う（ステップＳ６）。具体的には、情報取得部１１は、ドットパターンＰｎ毎に検出された検出位置ＤＰに基づいて、対象物５の奥行き情報（奥行きマップ）又は速度情報（速度マップ）を検出する。この検出により、例えば、対象物５が球形体５Ａ、三角形体５Ｂである場合には、図１３（Ａ）に示すような奥行きマップや、図１３（Ｂ）に示すような速度マップが生成される。
【００６９】
ステップＳ６終了後、情報取得部１１は、処理を終了する。なお、本実施の形態では、ステップＳ２が撮像工程に対応し、ステップＳ３〜Ｓ６が情報取得工程に対応する。
【００７０】
カメラ２とプロジェクタ３とが同期して動作していれば、どのドットパターンＰｎが投影されているかが既知となるため、情報処理装置４は、撮像画像ＩＭと、投影されたドットパターンＰｎとの対応関係のみを取得すればよい。また、本実施の形態のように、カメラ２とプロジェクタ３とが同期して動作していない場合でも、マッチングにより、撮像画像ＩＭからドットパターンＰｎを特定し、撮像画像ＩＭと、特定されたドットパターンＰｎとの対応関係のみを取得すればよい。しかしながら、必ずしも撮像画像ＩＭからドットパターンＰｎを特定する必要はない。情報処理装置４は、撮影画像ＩＭと、全てのドットパターンＰｎとの対応関係を求めればよい。
【００７１】
対応関係の取得方法としては、マッチングによる方法や、デコードによる方法がある。パターンマッチングによる方法の場合、対象となるドットパターンＰｎ以外のドットパターンＰｎも撮影されているため、自パターン以外とのマッチングを行わないようにするなどの工夫が有効である。また、デコードによる手法の例としては、各ドットパターンＰｎで色を変えるなどの方法がある。各ドットパターンＰｎの色を変えておけば、色により識別することができ、簡易に安定したデコードが可能である。色以外にも、空間周波数や、ドットパターンＰｎの模様などを用いることができる。また、デコードとマッチングを組み合わせる方法も有効である。
【００７２】
実施の形態２．
次に、本発明の実施の形態２について説明する。本実施の形態では、情報処理装置４は、上述の（Ｍ２）の方法、すなわち撮像画像ＩＭと、撮影されている全てのドットパターンＰｎを合成したＳＰｎとの間で、直接対応関係を得る方法により、対象物５の位置情報を取得する。
【００７３】
図１４に示すように、本実施の形態では、ステップＳ３とステップＳ４との間に、パターン合成（ステップＳ１０）を行う点と、ステップＳ５とステップＳ６との間にパターン分解（ステップＳ１１）を行う点とが、上記実施の形態１と異なる。ステップＳ１０において、情報取得部１１は、ステップＳ３で特定されたドットパターンＰｎを合成した合成パターンＳＰｎを生成する。そして、合成パターンＳＰｎを用いて撮像画像ＩＭに写るパターンとのマッチングが行われる。同じドットパターンＰｎが投影される場合であっても、対象物５の速度に応じて、撮影されるパターンは異なるため、合成パターンＳＰｎには、対象物５の移動を想定したパターンが含まれる。
【００７４】
例えば、情報取得部１１は、図１５に示すように、ドットパターンＰ１〜Ｐ３が合成されたパターンである合成パターンＳＰ１’と、撮像画像ＩＭのパターンとのマッチングを行う。これらがマッチングしなければ、情報取得部１１は、図１６に示すように、ドットパターンＰ２〜Ｐ４が合成されたパターンである合成パターンＳＰ２’と、撮像画像ＩＭのパターンとのマッチングを行う。これらがマッチングしなければ、情報取得部１１は、図１７に示すように、ドットパターンＰ３〜Ｐ５が合成されたパターンである合成パターンＳＰ３’と、撮像画像ＩＭのパターンとのマッチングを行う。これらがマッチングしなければ、情報取得部１１は、合成パターンＳＰ４’、ＳＰ５’についても同様の処理を行う。これらのマッチングにより、撮像画像に写るパターンに最も近い合成パターンＳＰｎが特定され、その合成パターンＳＰｎを構成するドットパターンＰｎが特定される。
【００７５】
この時、物体の速度に応じて、合成される画像ＳＰｎも異なるものとなる。例えば、一定速度の場合、図１８に示すように、ドットパターンＰ１〜Ｐ３から同じ枚数を用いて合成パターンＳＰ１’を生成することができる。この場合、特に、対象物５の速度等を考慮して、ｘｎ＝Ｄｅｐｔｈ１，Ｄｅｐｔｈ２のドットパターンＰ１、ｘｎ＝Ｄｅｐｔｈ３，Ｄｅｐｔｈ４のドットパターンＰ２、ｘｎ＝Ｄｅｐｔｈ５，Ｄｅｐｔｈ６のドットパターンＰ３を合成することができる。図１８の合成パターンＳＰｎ’は、対象物５の速度が一定であると仮定した場合の合成パターンである。撮像画像ＩＭに写るパターンが合成パターンＳＰｎ’と最も相関度が高い場合には、対象物５の奥行きｘｎは、露光時間Ｔ内で、Ｄｅｐｔｈ１〜Ｄｅｐｔｈ６に一定速度で移動したことになる。
【００７６】
一方で、対象物５の速度が一定速度ではない場合、速度の変化を考慮して、図１９に示すような合成パターンＳＰ１’’を生成することも可能である。ｘｎ＝Ｄｅｐｔｈ１，Ｄｅｐｔｈ２，Ｄｅｐｔｈ３のドットパターンＰ１、ｘｎ＝Ｄｅｐｔｈ４，Ｄｅｐｔｈ５のドットパターンＰ２、ｘｎ＝Ｄｅｐｔｈ６のドットパターンＰ３を合成することができる。図１９の合成パターンＳＰｎ’ ’は、対象物５の速度を可変であると仮定した場合の合成パターンである。この場合は、速度が変化しているため、各ドットパターンＰ１〜Ｐ３ごとに使用する枚数が異なる。撮像画像ＩＭに写るパターンが合成パターンＳＰｎ’ ’と最も相関度が高い場合には、対象物５は、露光時間Ｔ内でＤｅｐｔｈ１からＤｅｐｔｈ６まで移動し、その速度は３段階に減速したことになる。
【００７７】
本実施の形態においても、情報取得部１１は、ステップＳ４（ラフ計測）、ステップＳ５（ファイン計測）を行う。この場合、ステップＳ４において、図１８に示すような対象物５の速度を一定とした場合の合成パターンＳＰｎ’を用いてパターンマッチングを行い、ステップＳ５において、図１９に示すような対象物５の速度を可変とした場合の合成パターンＳＰｎ’’を用いてパターンマッチングを行い、対象物５の奥行き又は速度を精細に求めるようにしてもよい。
【００７８】
上述のように、本実施の形態によれば、個々の対応関係の推定手法に対して、撮影されたパターンそのものと同じパターンが合成されるため、位置推定の処理が安定するメリットが有る。さらに、まとめて推定することによる計算量を削減できるメリットもある。本実施の形態においても、ステップＳ３のパターン特定においては、マッチングの代わりにデコードによる方法を用いてもよい。
【００７９】
図２０（Ａ）、図２０（Ｂ）及び図２０（Ｃ）には、位置情報取得システム１で扇風機の羽根の計測を行った場合に得られる実験結果が示されている。図２０（Ａ）には、扇風機の羽根の撮像画像ＩＭである。情報取得部１１は、この撮像画像ＩＭに基づいて、図２０（Ｂ）に示す奥行きマップを作成する。図２０（Ｂ）に示すように、奥行きマップでは、扇風機の羽根の形状がよく再現されている。また、図２０（Ｃ）には、扇風機の羽根のエッジ部分の動きを示すマップが示されている。図２０（Ｃ）では、異なるドットパターンＰｎから得られた羽根部分を、輝度を変えて表現している。図２０（Ｃ）に示すように、この計測により、羽根の動きも再現されている。
【００８０】
以上詳細に説明したように、上記各実施の形態によれば、カメラ２の撮像素子で１枚の撮像画像が撮像される露光時間Ｔ内において、プロジェクタ３が対象物５に投影するパターンが異なるドットパターンＰｎに順次切り替えられる。したがって、カメラ２の撮像画像は、対象物５に投影された複数の異なるドットパターンＰｎの合成パターンＳＰｎを含む画像となる。仮に、露光時間Ｔ内において同じドットパターンＰｎが投影されていた場合に対象物５が高速に移動すると、撮像画像に写るパターンはその移動の方向に沿って連続的に延びるボケたパターンとなる（図６（Ｂ））。これに対して、露光時間Ｔ内でドットパターンＰｎを切り替えれば、対象物５が高速に移動しても、ドットパターンＰｎは離散的に配列されるようになるので、パターンのボケが抑制される（図６（Ａ））。プロジェクタ３とカメラ２とは視差を持つため、撮像画像内の各ドットパターンＰｎの位置は、対象物５の位置に応じて変化する。撮像画像ではドットパターンＰｎのボケが抑制されているため、ドットパターンＰｎの位置を高精度に検出し、結果的に高速に移動する対象物５の位置情報を高精度に取得することができる。
【００８１】
なお、上記各実施の形態では、撮像画像ＩＭに写るパターンを構成するドットパターンＰｎを特定してから、マッチングを行って、対象物５の位置を得たが、本発明はこれには限られない。例えば、全てのドットパターンＰｎ又は全ての合成パターンＳＰｎとのマッチングを行って、対象物５の位置を求めるようにしてもよい。しかしながら、ドットパターンＰｎを先に特定した方が、比較するドットの数を低減できるため、処理時間を短縮することができる。
【００８２】
このように、上記各実施の形態では、マッチングにより合成パターンＳＰｎを構成するドットパターンＰｎを特定したが、カメラ２とプロジェクタ３とが同期して動作している場合は投影されるドットパターンＰｎがあらかじめ既知であるため、この処理は不要である。また、同期されていない場合であっても、各ドットパターンＰｎにマーカ（識別情報）をつけることができる。各ドットパターンＰｎにそれぞれ図２１（Ａ）に示すようなマーカｐ（１）〜ｐ（１０）のいずれかが付けられているとする。Ｅｘａｍｐｌｅ１では、ｐ（３）〜ｐ（８）が写っているので、ドットパターンＰ３〜Ｐ８が撮像画像ＩＭに写っているパターンとなる。また、Ｅｘａｍｐｌｅ２では、ｐ（１）〜ｐ（３）、ｐ（８）、ｐ（９）、ｐ（１０）が写っているので、ドットパターンＰ１〜Ｐ３、Ｐ８、Ｐ９、Ｐ１０が撮像画像ＩＭに写っているパターンとなる。撮像画像ＩＭにおいて、どのマークｐ（ｎ）が写っているかによって、どのドットパターンＰｎが投影されたかを例えば図２１（Ｂ）に示す撮像画像ＩＭに写るマーカｐ（ｎ）から確認することができるため、合成パターンＳＰｎを総当たり的にマッチングする必要がなくなる。この結果、処理時間を短縮することができる。
【００８３】
上記実施の形態１では、撮像画像に含まれるパターンからドットパターンＰｎを特定し、各ドットパターンＰｎから検出された検出位置ＤＰに基づいて対象物５の奥行きマップ又は速度マップを作成した。このようにすれば、カメラ２の撮像動作と比較しても高速に移動する対象物５の奥行きや速度を高精度に求めることができる。
【００８４】
また、上記各実施の形態では、パターンと対象物５の位置との関係を実測し、それらを関連付けてデータベース化し、データベースのパターンとパターンマッチングを行って、対象物５の奥行き又は速度情報を検出した。このようにすれば、実際の対象物５が移動する環境でのカメラ２の撮像状態及びプロジェクタ３に撮像状態に適合した高精度な検出が可能となる。
【００８５】
また、上記各実施の形態では、まず、求めるｘ位置について大きな間隔をとってパターンマッチングを行って対象物５の概略位置（基準位置ＲＰ）を求め、さらに求められた概略位置から対象物５の詳細な位置（検出位置ＤＰ）を求めた。このようにすれば、対象物５の位置を求めるまでのマッチング回数を低減することができるので、処理時間を短縮することができる。
【００８６】
また、上記実施の形態２、すなわち（Ｍ２）の方法では、パターンをデコードすることなく、逆にデータベースに記憶されたパターンを合成し、撮像画像ＩＭに写るパターンとのマッチングを行った。この場合、撮像画像ＩＭに写るパターンをそのままでマッチングできるので、マッチングの精度を高め、引いては対象物５の位置検出精度を高めることができる。また、マッチング回数も低減することができるので、処理時間を短縮することができる。
【００８７】
しかしながら、対象物５の位置を求める処理は、必ずしもパターンマッチングには限らない。例えば、カメラ２とプロジェクタ３との位置関係を示す情報、例えばカメラ２とプロジェクタ３との間の視差や光軸ＡＸ１，ＡＸ２の位置ずれの情報に基づいて、撮像画像内のドットパターンＰｎの各位置から、三角測量法により、対象物５の位置を計算により求めるようにしてもよい。また、三角測量法により、対象物５の概略位置を求め、その概略位置を基準にして、パターンマッチングを行って、対象物５の詳細位置を求めるようにしてもよい。
【００８８】
なお、撮像画像ＩＭにおいては、ドットパターンＰｎ同士の各ドットが重なり合うこともあるが、ドットが重なるとその位置の輝度はより明るくなる。この明るさの増大によってドットが重なり合っていることを認識することができるので、情報取得部１１は、そのことを考慮しつつ、パターンマッチングを行うことができる。
【００８９】
なお、プロジェクタ３により投影されるパターンは、ドットパターンＰｎには限られない。プロジェクタ３とカメラ２とによって仮想的に定義されるエピポーラ線と交差するラインパターンであってもよいし、グリッドパターンであってもよい。パターン同士が特徴空間で互いに直交していれば、パターンを区別し易くなる。また、プロジェクタ３により投影するパターン毎に色を変えていてもよい。このようにすれば、各パターンを区別し易くなる。しかしながら、各パターンがランダムに生成されたものであっても、十分に精度良く対象物５の位置を検出することができる。
【００９０】
また、パターンの投影にＤＯＥ（Diffractive Optical Element；回折格子）を用いるようにしてもよい。まず、光源としてレーザ光源を用い、光源から出射されたレーザを、ランダムドットパターンを形成するＤＯＥに入射し、ＤＯＥを介して対象物５にパターンを投影する。ＤＯＥは、光量を数％程度しか減衰させないため、本システムでは光量をほとんど減衰させずにパターンを形成することができる。これにより、パターンをさらにクリアなものとして、位置の検出精度を向上することができる。
【００９１】
また、パターン毎に異なるパターン投影機を用意してもよい。この場合、パターンごとにカメラとの位置関係が異なるため、この情報を用いたマッチングや位置情報推定の精度向上が実現できる。あるいは、ポリゴンミラーで切り替えてもよい。この場合は、パターンとカメラとの位置関係は変わらないため、処理が単純化される。
【００９２】
その他、情報処理装置４のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。
【００９３】
制御部４１、主記憶部４２、外部記憶部４３、操作部４４、表示部４５及び通信部４６、内部バス４０などから構成される情報処理装置４の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをインストールすることにより、前記の処理を実行する情報処理装置４を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで情報処理装置４を構成してもよい。
【００９４】
情報処理装置４の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００９５】
搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（BBS, Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【００９６】
本発明によれば、通常のカメラを用いて、そのシャッタースピードより、数倍高速な動きを計測することができる。これにより、高速移動物体の３次元計測を、ハイスピードカメラを用いる手法に比べて、より安価なカメラで実現可能となる。また、撮影枚数が減ることからキャプチャに要するデータ量を減らすことができる。さらには、カメラ２の露光時間を短くする必要がないので画像のＳ／Ｎ比が改善される。
【００９７】
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【産業上の利用可能性】
【００９８】
本発明は、高速に移動する物体の位置又は速度の検出に適用可能である。
【符号の説明】
【００９９】
１  位置情報取得システム、２  カメラ、３  プロジェクタ、４  情報処理装置、５  対象物、５Ａ  球形体、５Ｂ  三角形体、１０  計測制御部、１１  情報取得部、１２  記憶部、１３  パターン位置データベース、２０  光学系、２１  撮像素子、２２  レンズシャッタ、２３  制御部、３０  光源、３１  液晶表示素子、３２  パターン制御部、３３  光学系、４０  内部バス、４１  制御部、４２  主記憶部、４３  外部記憶部、４４  操作部、４５  表示部、４６  通信部、４９  プログラム、ＡＸ１，ＡＸ２  光軸、ＤＰ  検出位置、ＩＭ，１Ｍ’  撮像画像、Ｌ  計測可能範囲、Ｌ１  範囲、Ｐ１〜Ｐ５  ドットパターン、ＲＰ  基準位置、ＳＰｎ，ＳＰｎ’，ＳＰｎ’’  合成パターン、Ｔ  露光時間
【図１】
2019027894.tif 000003
【図２】
2019027894.tif 000004
【図３】
2019027894.tif 000005
【図４】
2019027894.tif 000006
【図５】
2019027894.tif 000007
【図６】
2019027894.tif 000008
【図７】
2019027894.tif 000009
【図８】
2019027894.tif 000010
【図９】
2019027894.tif 000011
【図１０】
2019027894.tif 000012
【図１１】
2019027894.tif 000013
【図１２】
2019027894.tif 000014
【図１３】
2019027894.tif 000015
【図１４】
2019027894.tif 000016
【図１５】
2019027894.tif 000017
【図１６】
2019027894.tif 000018
【図１７】
2019027894.tif 000019
【図１８】
2019027894.tif 000020
【図１９】
2019027894.tif 000021
【図２０】
2019027894.tif 000022
【図２１】
2019027894.tif 000023