(57)【要約】      （修正有）【課題】撮像時刻が互いに異なる複数の画像から簡易に物体の空間位置を算出することができる計測装置、方法及びプログラムを提供する。【解決手段】計測装置は、画像取得部１０００、１０１０と、時刻取得部と、第１算出部と、生成部と、第２算出部と、を備える。画像取得部は、第１視点で物体１０２０、１０３０、１０４０を撮像した基準画像を取得するとともに、第２視点で物体１０２０、１０３０、１０４０を撮像した複数の画像であって基準画像とそれぞれが異なる時刻に撮像された複数の非同期画像を取得する。時刻取得部は、基準画像の撮像時刻と複数の非同期画像それぞれの撮像時刻とを取得する。第１算出部は、基準画像と複数の非同期画像それぞれとの撮像時刻の差を算出する。第２算出部は、基準画像と、複数の非同期画像と、複数の撮像時刻の差とに基づいて、物体１０２０の空間位置を算出する。【選択図】図１
2014186004.tif 000002
【特許請求の範囲】
【請求項１】
第１視点で物体を撮像した基準画像を取得するとともに、第２視点で前記物体を撮像した複数の画像であって前記基準画像とそれぞれが異なる時刻に撮像された複数の非同期画像を取得する画像取得部と、
前記基準画像の撮像時刻と前記複数の非同期画像それぞれの撮像時刻とを取得する時刻取得部と、
前記基準画像と前記複数の非同期画像それぞれとの撮像時刻の差を算出する第１算出部と、
前記基準画像と、前記複数の非同期画像と、前記複数の撮像時刻の差とに基づいて、前記物体の空間位置を算出する第２算出部と、
を備える計測装置。
【請求項２】
前記第２算出部は、前記複数の非同期画像と前記複数の撮像時刻の差とを用いて、前記基準画像と同時刻に前記第２視点で撮像されたと推定される推定画像を生成し、前記基準画像、前記推定画像、並びに前記第１視点での撮像に用いられた撮像装置に関するパラメータ及び第２視点での撮像に用いられた撮像装置に関するパラメータを用いて、前記物体の空間位置を算出する請求項１に記載の計測装置。
【請求項３】
前記第２算出部は、前記基準画像から特徴点を抽出するとともに、前記複数の非同期画像それぞれから前記特徴点に対応する対応特徴点を抽出し、前記特徴点と、前記対応特徴点と、前記複数の撮像時刻の差とに基づいて、前記物体の空間位置を算出する請求項１に記載の計測装置。
【請求項４】
前記パラメータは、前記撮像装置の空間位置と姿勢とで構成されたパラメータを少なくとも含み、
前記撮像装置の空間位置は、絶対的な空間位置を取得する第１センサにより特定され、
前記撮像装置の姿勢は、空間的な方位情報を取得する第２センサにより特定されている請求項２又は３に記載の計測装置。
【請求項５】
前記第１視点以外の視点は、複数あり、
前記第１視点以外の複数の視点の中から、空間位置の推定誤差が他よりも小さい、前記基準画像との撮像時刻の差が他よりも小さい、及び画質が他よりも高い、の少なくともいずれかの条件を満たす視点を、前記第２視点に選択する選択部を更に備える請求項１〜４のいずれか１つに記載の計測装置。
【請求項６】
第１視点で物体を撮像した基準画像を取得するとともに、第２視点で前記物体を撮像した複数の画像であって前記基準画像とそれぞれが異なる時刻に撮像された複数の非同期画像を取得する画像取得ステップと、
前記基準画像の撮像時刻と前記複数の非同期画像それぞれの撮像時刻とを取得する時刻取得ステップと、
前記基準画像と前記複数の非同期画像それぞれとの撮像時刻の差を算出する第１算出ステップと、
前記基準画像と、前記複数の非同期画像と、前記複数の撮像時刻の差とに基づいて、前記物体の空間位置を算出する第２算出ステップと、
を含む計測方法。
【請求項７】
前記第２算出ステップでは、前記複数の非同期画像と前記複数の撮像時刻の差とを用いて、前記基準画像と同時刻に前記第２視点で撮像されたと推定される推定画像を生成し、前記基準画像、前記推定画像、並びに前記第１視点での撮像に用いられた撮像装置に関するパラメータ及び第２視点での撮像に用いられた撮像装置に関するパラメータを用いて、前記物体の空間位置を算出する請求項６に記載の計測方法。
【請求項８】
前記第２算出ステップでは、前記基準画像から特徴点を抽出するとともに、前記複数の非同期画像それぞれから前記特徴点に対応する対応特徴点を抽出し、前記特徴点と、前記対応特徴点と、前記複数の撮像時刻の差とに基づいて、前記物体の空間位置を算出する請求項６に記載の計測方法。
【請求項９】
前記パラメータは、前記撮像装置の空間位置と姿勢とで構成されたパラメータを少なくとも含み、
前記撮像装置の空間位置は、絶対的な空間位置を取得する第１センサにより特定され、
前記撮像装置の姿勢は、空間的な方位情報を取得する第２センサにより特定されている請求項７又は８に記載の計測方法。
【請求項１０】
前記第１視点以外の視点は、複数あり、
前記第１視点以外の複数の視点の中から、空間位置の推定誤差が他よりも小さい、前記基準画像との撮像時刻の差が他よりも小さい、及び画質が他よりも高い、の少なくともいずれかの条件を満たす視点を、前記第２視点に選択する選択ステップを更に備える請求項６〜９のいずれか１つに記載の計測方法。
【請求項１１】
第１視点で物体を撮像した基準画像を取得するとともに、第２視点で前記物体を撮像した複数の画像であって前記基準画像とそれぞれが異なる時刻に撮像された複数の非同期画像を取得する画像取得ステップと、
前記基準画像の撮像時刻と前記複数の非同期画像それぞれの撮像時刻とを取得する時刻取得ステップと、
前記基準画像と前記複数の非同期画像それぞれとの撮像時刻の差を算出する第１算出ステップと、
前記基準画像と、前記複数の非同期画像と、前記複数の撮像時刻の差とに基づいて、前記物体の空間位置を算出する第２算出ステップと、
をコンピュータに実行させるためのプログラム。
【請求項１２】
前記第２算出ステップでは、前記複数の非同期画像と前記複数の撮像時刻の差とを用いて、前記基準画像と同時刻に前記第２視点で撮像されたと推定される推定画像を生成し、前記基準画像、前記推定画像、並びに前記第１視点での撮像に用いられた撮像装置に関するパラメータ及び第２視点での撮像に用いられた撮像装置に関するパラメータを用いて、前記物体の空間位置を算出する請求項１１に記載のプログラム。
【請求項１３】
前記第２算出ステップでは、前記基準画像から特徴点を抽出するとともに、前記複数の非同期画像それぞれから前記特徴点に対応する対応特徴点を抽出し、前記特徴点と、前記対応特徴点と、前記複数の撮像時刻の差とに基づいて、前記物体の空間位置を算出する請求項１１に記載のプログラム。
【請求項１４】
前記パラメータは、前記撮像装置の空間位置と姿勢とで構成されたパラメータを少なくとも含み、
前記撮像装置の空間位置は、絶対的な空間位置を取得する第１センサにより特定され、
前記撮像装置の姿勢は、空間的な方位情報を取得する第２センサにより特定されている請求項１２又は１３に記載のプログラム。
【請求項１５】
前記第１視点以外の視点は、複数あり、
前記第１視点以外の複数の視点の中から、空間位置の推定誤差が他よりも小さい、前記基準画像との撮像時刻の差が他よりも小さい、及び画質が他よりも高い、の少なくともいずれかの条件を満たす視点を、前記第２視点に選択する選択ステップを更にコンピュータに実行させるための請求項１１〜１４のいずれか１つに記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、計測装置、方法及びプログラムに関する。
【背景技術】
【０００２】
互いに異なる位置に設置された２台以上のカメラで移動体を撮像し、それぞれのカメラで撮像された画像を用いて、移動体の空間位置を推定する技術が知られている。
【０００３】
例えば、各カメラが移動体を異なる時刻（但し、撮像時刻は未知）で撮像している場合に、各カメラそれぞれが撮像した２枚以上のステレオ動画像間の特徴点のマッチングを行い、ステレオ動画像間の撮像時刻のずれを推定し、ずれ量を補正することで、移動体の空間位置を推定する技術がある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】C.Zhouら,  "Dynamic  Depth  Recovery  from  Unsynchronized  Video  Streams",  IEEE  CVPR  2003.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したような従来技術は、撮像時刻が未知の複数の画像を用いて、物体の空間位置を推定するものであるが、撮像時刻が既知かつ互いに視点の異なる複数の画像を用いて、物体の空間位置を算出する場合もある。このような場合、上述したような従来技術のように、撮像時刻のずれを推定する必要はない。
【０００６】
本発明が解決しようとする課題は、撮像時刻が互いに異なる複数の画像から簡易に物体の空間位置を算出することができる計測装置、方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
実施形態の計測装置は、画像取得部と、時刻取得部と、第１算出部と、生成部と、第２算出部と、を備える。画像取得部は、第１視点で物体を撮像した基準画像を取得するとともに、第２視点で前記物体を撮像した複数の画像であって前記基準画像とそれぞれが異なる時刻に撮像された複数の非同期画像を取得する。時刻取得部は、前記基準画像の撮像時刻と前記複数の非同期画像それぞれの撮像時刻とを取得する。第１算出部は、前記基準画像と前記複数の非同期画像それぞれとの撮像時刻の差を算出する。第２算出部は、前記基準画像と、前記複数の非同期画像と、前記複数の撮像時刻の差とに基づいて、前記物体の空間位置を算出する。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態の撮影状況の例を示す図。
【図２】第１実施形態の画像の例を示す図。
【図３】第１実施形態の画像の例を示す図。
【図４】第１実施形態の計測装置の例を示す構成図。
【図５】第１実施形態の複数の非同期画像の例を示す図。
【図６】第１実施形態の撮像時刻の差の例を示す図。
【図７】第１実施形態の推定画像の例を示す図。
【図８】第１実施形態の視体積交差法の説明図。
【図９】第１実施形態の視体積交差法での領域の算出手法例の説明図。
【図１０】第１実施形態の視体積交差法での領域の算出手法例の説明図。
【図１１】第１実施形態の処理例を示すフローチャート図。
【図１２】第２実施形態の計測装置の例を示す構成図。
【図１３】第２実施形態の画質の推定方法の例の説明図。
【図１４】第２実施形態の処理例を示すフローチャート図。
【図１５】第３実施形態の想定環境の例を示す模式図。
【図１６】変形例の画像取得部により取得された画像の例を示す図。
【図１７】変形例の撮像時刻の差の例を示す図。
【図１８】各実施形態及び変形例の計測装置のハードウェア構成例を示す図。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら、実施形態を詳細に説明する。
（第１実施形態）
【００１０】
図１は、第１実施形態の撮影状況の一例を示す図である。図１に示すように、第１視点には、撮像装置１０００が配置され、第１視点とは異なる位置にある第２視点には、撮像装置１０１０が配置されている。第１実施形態では、撮像装置１０００及び撮像装置１０１０としてデジタルカメラを想定しているが、これに限定されるものではない。また第１実施形態では、第２視点が１つである場合を想定しているが、第２視点が相異なる位置に複数存在していてもよい。
【００１１】
撮像装置１０００及び撮像装置１０１０は、物体１０２０、１０３０、及び１０４０を撮像する。ここで、物体１０２０は移動体であり、物体１０３０及び１０４０は、非移動体である。なお、物体１０４０は、地面に書かれた模様である。
【００１２】
第１実施形態では、撮像装置１０００と撮像装置１０１０とは、互いに同期して（同時刻に）撮像を行うのではなく、互いに非同期に（異なる時刻に）撮像を行うものとする。通常、複数の撮像装置が同期して撮像を行うためには、何らかの制御信号を撮像装置間で共通して使用する必要がある。しかしながら、撮像装置同士が離れて設置されていたり、撮像装置がそれぞれ別々のシステムに接続されていたりする場合、撮像装置間で制御信号を共通して使用することが難しい。
【００１３】
第１実施形態では、このような状況下で撮像を行うため、撮像装置１０００が撮像した画像と撮像装置１０１０が撮像した画像との撮像時刻が異なり（非同期となり）、撮像装置１０００が撮像した画像上の物体１０２０（移動体）の位置と、撮像装置１０１０が撮像した画像上の物体１０２０（移動体）の位置とが、相違する。
【００１４】
図２は、第１実施形態の撮像装置１０００が撮像した画像１００１の一例を示す図であり、図３は、第１実施形態の撮像装置１０１０が撮像した画像１０１１の一例を示す図である。画像１００１内の物体画像１０２１、物体画像１０４１は、それぞれ、物体１０２０、物体１０４０を撮像したものであり、画像１０１１内の物体画像１０２２、物体画像１０４２は、それぞれ、物体１０２０、物体１０４０を撮像したものである。
【００１５】
物体１０４０は非移動体（静止物）、物体１０２０は移動体であり、画像１００１内の物体画像１０４１に対する物体画像１０２１の位置と、画像１０１１内の物体画像１０４２に対する物体画像１０２２の位置とが異なることから、画像１００１と画像１０１１とが異なる時刻に撮像されていることがわかる。
【００１６】
図４は、第１実施形態の計測装置１０の一例を示す構成図である。図１に示すように、計測装置１０は、画像取得部１１と、時刻取得部１３と、パラメータ記憶部１５と、第１算出部１７と、第２算出部１９と、出力部２１とを、備える。
【００１７】
画像取得部１１、時刻取得部１３、第１算出部１７、及び第２算出部１９は、例えば、ＣＰＵ（Central  Processing  Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated  Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。
【００１８】
パラメータ記憶部１５は、計測装置１０で実行される各種プログラムや計測装置１０で行われる各種処理に使用されるデータなどを記憶する。パラメータ記憶部１５は、例えば、ＨＤＤ（Hard  Disk  Drive）、ＳＳＤ（Solid  State  Drive）、メモリカード、光ディスク、ＲＯＭ（Read  Only  Memory）、及びＲＡＭ（Random  Access  Memory）などの磁気的、光学的、又は電気的に記憶可能な記憶装置により実現できる。
【００１９】
出力部２１は、例えば、液晶ディスプレイやタッチパネル式ディスプレイなどの表示出力用の表示装置、又はプリンタなどの印刷出力用の印刷装置などで実現してもよいし、これらの装置を併用して実現してもよい。
【００２０】
画像取得部１１は、第１視点で物体を撮像した基準画像を取得するとともに、第２視点で当該物体を撮像した複数の画像であって基準画像とそれぞれが異なる時刻に撮像された複数の非同期画像を取得する。
【００２１】
第１実施形態では、画像取得部１１は、基準画像として、撮像装置１０００により撮像された画像を取得する。ここでは、画像取得部１１は、基準画像として、画像１００１を取得するものとするが、これに限定されるものではない。
【００２２】
また画像取得部１１は、複数の非同期画像として、撮像装置１０１０により撮像された撮像時刻が異なる複数の画像を取得する。図５は、第１実施形態の画像取得部１１により取得された複数の非同期画像の一例を示す図である。ここでは、画像取得部１１は、図５に示すように、画像１０１１と、画像１０１１の撮像時刻以前に撮像装置１０１０により撮像された画像１０１２とを取得するものとするが、これに限定されるものではない。
【００２３】
なお画像取得部１１は、撮像装置１０００及び撮像装置１０１０とネットワークを介して接続されていれば、ネットワークを介して画像１００１、画像１０１１、画像１０１２を取得すればよい。また画像取得部１１は、撮像装置１０００及び撮像装置１０１０から、記憶媒体を介して、画像１００１、画像１０１１、画像１０１２を取得してもよい。
【００２４】
時刻取得部１３は、基準画像の撮像時刻と複数の非同期画像それぞれの撮像時刻とを取得する。具体的には、時刻取得部１３は、撮像装置１０１０により画像１０１２が撮像されると、画像１０１２の撮像時刻を取得し、撮像装置１０００により画像１００１が撮像されると、画像１００１の撮像時刻を取得し、撮像装置１０１０により画像１０１１が撮像されると、画像１０１１の撮像時刻を取得する。
【００２５】
そして、時刻取得部１３は、画像取得部１１により取得された画像１０１２、画像１００１、画像１０１１それぞれに、取得した撮像時刻を対応付ける。なお、時刻取得部１３は、撮像装置１０００及び撮像装置１０１０による撮像の時点で、画像１０１２、画像１００１、画像１０１１それぞれに、取得した撮像時刻を対応付けておき、画像取得部１１が、撮像時刻の対応付けられた画像１０１２、画像１００１、画像１０１１を取得するようにしてもよい。
【００２６】
撮像時刻は、撮像装置１０００により撮像された画像と撮像装置１０１０により撮像された画像との相対的な時間差を算出できるものであればよく、例えば、協定世界時（グリニッジ標準時）、日本標準時、及びＧＰＳ（Global  Positioning  System）時刻などが挙げられる。ＧＰＳ時刻は、ＧＰＳから送信される信号をもとにした時刻である。
【００２７】
協定世界時や日本標準時の時刻については、時刻取得部１３が、例えば、ＮＴＰ（Network  Time  Protocol）で外部のＮＴＰサーバに接続し、ネットワーク経由で取得すればよい。また時刻取得部１３は、電波時計からの信号（詳細には、標準電波の信号）、携帯電話の基地局から送信される制御信号に含まれる時刻情報、ＦＭラジオ送の文字多重データに重畳されている時刻情報、又はＢＳデジタル放送や地上デジタル放送に含まれるTime  Offset  Table等を取得することで、協定世界時及び日本標準時の時刻を取得するようにしてもよい。
【００２８】
ＧＰＳ時刻については、時刻取得部１３が、例えば、ＧＬＯＮＡＳＳ（Global  Navigation  Satellite  System）など衛星から送信される信号から、時刻を取得する方法を用いて取得すればよい。
【００２９】
パラメータ記憶部１５は、撮像装置１０００及び撮像装置１０１０のパラメータを記憶する。具体的には、パラメータ記憶部１５は、撮像装置１０００及び撮像装置１０１０それぞれの内部パラメータ及び外部パラメータを記憶する。内部パラメータは、撮像装置の焦点距離や画像中心で構成されたパラメータである。外部パラメータは、撮像装置の空間位置と姿勢とで構成されたパラメータである。
【００３０】
第１算出部１７は、基準画像と複数の非同期画像それぞれとの撮像時刻の差を算出する。具体的には、第１算出部１７は、時刻取得部１３により取得された画像１００１の撮像時刻と、時刻取得部１３により取得された画像１０１２の撮像時刻及び画像１０１１の撮像時刻それぞれと、の撮像時刻の差を算出する。
【００３１】
図６は、第１実施形態の撮像時刻の差の一例を示す図である。図６に示す例では、画像１０１２の撮像時刻が１０１２Ｔ、画像１００１の撮像時刻が１００１Ｔ、画像１０１１の撮像時刻が１０１１Ｔとなっている。また図６に示す例では、撮像時刻１００１Ｔと撮像時刻１０１１Ｔとの差（撮像時刻１００１Ｔに対する撮像時刻１０１１Ｔの時刻ずれ）は、λ１であり、撮像時刻１００１Ｔと撮像時刻１０１２Ｔとの差（撮像時刻１００１Ｔに対する撮像時刻１０１２Ｔの時刻ずれ）は、λ２である。ここで、１０１１Ｔは１００１Ｔ以降の時間であるため、λ１はマイナスの値となり、１０１２Ｔは１００１Ｔ以前の時間であるため、λ２はプラスの値となる。
【００３２】
第２算出部１９は、基準画像と、複数の非同期画像と、複数の撮像時刻の差とに基づいて、物体の空間位置を算出する。具体的には、第２算出部１９は、複数の非同期画像と複数の撮像時刻の差とを用いて、基準画像と同時刻に第２視点で撮像されたと推定される推定画像を生成する。そして第２算出部１９は、基準画像、推定画像、並びに撮像装置１０００に関するパラメータ及び撮像装置１０１０に関するパラメータを用いて、物体の空間位置を算出する。
【００３３】
まず、第２算出部１９は、画像１０１１、画像１０１２、撮像時刻の差λ１、及び撮像時刻の差λ２を用いて、画像１０１１及び画像１０１２間のオプティカルフローを算出し、推定画像を生成する。図７は、第１実施形態の推定画像の一例を示す図である。つまり、図７に示す画像１０１３は、撮像装置１０１０が撮像時刻１００１Ｔに撮像したと推定される画像である。
【００３４】
ここで、オプティカルフローは、複数の画像間での動きを表しており、例えば、画像１０１１上の点１０５１（図５参照）の座標ｕ′０と画像１０１２上の点１０５３（図５参照）の座標ｕ′１は、数式（１）で表される。なお、点１０５３は、画像１０１１上の点１０５１が対応する画像１０１２上の点である。
【００３５】
ｕ′１＝ｕ′０＋ｍ      …（１）
【００３６】
但し、ｍは、画像の２次元の移動ベクトルを表している。
【００３７】
また、画像１０１３上の点１０５４（図７参照）の座標ｕ′０ｖは、撮像時刻の差（ずれ）λ１、λ２を用いると、数式（２）で求められる。ここで、数式（２）は、撮像時刻の差（ずれ）の比率に応じて、動きを内挿していることに相当する。なお、点１０５３は、画像１０１１上の点１０５１が対応する画像１０１３上の点である。
【００３８】
【数１】
2014186004.tif 000003
【００３９】
第２算出部１９は、ここまで説明した処理を画像全体に施すことによって、推定画像である画像１０１３を得る。なお、画像１０１３では、移動体と非移動体との区別はなくなる。
【００４０】
次に、第２算出部１９は、画像１００１、画像１０１３、撮像装置１０００の内部パラメータ及び外部パラメータ、並びに撮像装置１０１０の内部パラメータ及び外部パラメータを用いて、物体１０２０（移動体）の空間位置（詳細には、物体１０２０を含む対象の空間位置）を算出する。
【００４１】
ここで、空間位置を算出する手法は、三角測量法及び視体積交差法の２つの手法に大別できる。
【００４２】
三角測量法では、画像１００１と画像１０１３との間で対応する位置を求め、求めた対応する位置の視差から空間位置を推定する。つまり、画像１０１３上の点１０５４（図７参照）の座標ｕ′０ｖと、点１０５４に対応する画像１００１上の点の座標ｕ０とを求めることに相当する。
【００４３】
第２算出部１９は、例えば、数式（３）を用いて、座標ｕ′０ｖと座標ｕ０とを求める。
【００４４】
【数２】
2014186004.tif 000004
【００４５】
Ｗは、座標ｕ０の点の周囲のウィンドウ領域であり、ｘ＋ｄのウィンドウ領域の中心座標が座標ｕ′０ｖである。ここでは、評価関数としてＳＳＤ（Sum  of  Squared  Difference）を用いているが、別の評価関数を用いてもよい。
【００４６】
なお、撮像装置１０００と撮像装置１０１０との間で平行化処理が事前に行われている場合、画像１０１３上の点１０５４は、点１０５４に対応する画像１００１上の点と画像上で同じ縦の位置にあるため（即ち、エピポーラ線が平行であるため）、第２算出部１９は、横方向の探索を行うことにより、点１０５４に対応する画像１００１上の点を求めることができる。また、撮像装置１０００と撮像装置１０１０との間で平行化処理が事前に行われていない場合、画像１０１３上のエピポーラ線上を探索することによって、点１０５４に対応する画像１００１上の点を求めることができる。
【００４７】
そして、空間位置の同次座標をｘ〜＝［Ｘ  Ｙ  Ｚ  １]とすると、撮像装置１０００の内部パラメータ及び外部パラメータを含んだ撮像装置１０００の透視投影行列Ｐ１０００から、数式（４）が成り立ち、撮像装置１０１０の内部パラメータ及び外部パラメータを含んだ撮像装置１０１０の透視投影行列Ｐ１０１０から、数式（５）が成り立つ。なお、「〜」は、同次座標を表す。
【００４８】
【数３】
2014186004.tif 000005
【００４９】
【数４】
2014186004.tif 000006
【００５０】
第２算出部１９は、数式（４）及び（５）をＸについて解くことによって、空間位置を求めることができる。
【００５１】
次に、視体積交差法について説明する。図８は、第１実施形態の視体積交差法の説明図である。第２算出部１９は、図８に示すように、複数台（図８に示す例では、２台）の撮像装置で撮像された画像１００２Ｂ、画像１０１４Ｂから物体１１００の輪郭を抽出することで、画像１００２Ｂ上の領域１１０１、及び画像１０１４Ｂ上の領域１１０２を得る。そして第２算出部１９は、物体１１００が存在する可能性がある領域を３次元空間に投影することで、物体１１００が収まっている空間１１０３を推定する。なお、空間１１０３を物体１１００の真の形状により近づけるのであれば、例えば、撮像装置の台数を増やして、様々な方向から撮像すればよい。
【００５２】
図９及び図１０は、第１実施形態の視体積交差法での領域の算出手法の一例の説明図であり、図９は、領域１１０１の一例として画像１００１の領域１０２３を示し、図１０は、領域１１０２の一例として画像１０１３の領域１０２４を示している。領域１０２３及び領域１０２４を抽出するには、例えば、同一の撮像装置において異なる時刻で撮像した画像を利用して、フレーム間差分を施すことにより、変化した領域を抽出したり、オプティカルフローの値が所定値より大きくなる領域を抽出したり、パタン認識等の統計処理を施すことによって、特定の物体の輪郭を抽出したりすればよい。
【００５３】
出力部２１は、物体の空間位置を出力する。
【００５４】
図１１は、第１実施形態の計測装置１０で行われる処理の手順の流れの一例を示すフローチャート図である。
【００５５】
まず、画像取得部１１は、第１視点で移動体を撮像した基準画像を取得するとともに、第２視点で当該移動体を撮像した複数の画像であって基準画像とそれぞれが異なる時刻に撮像された複数の非同期画像を取得する（ステップＳ１０１）。
【００５６】
続いて、時刻取得部１３は、基準画像の撮像時刻と複数の非同期画像それぞれの撮像時刻とを取得する（ステップＳ１０３）。
【００５７】
続いて、第１算出部１７は、基準画像と複数の非同期画像それぞれとの撮像時刻のずれ（差）を算出する（ステップＳ１０５）。
【００５８】
続いて、第２算出部１９は、複数の非同期画像と複数の撮像時刻の差とを用いて、基準画像と同時刻に第２視点で撮像されたと推定される推定画像を生成する（ステップＳ１０７）。
【００５９】
続いて、第２算出部１９は、基準画像、推定画像、並びに撮像装置１０００に関するパラメータ及び撮像装置１０１０に関するパラメータを用いて、移動体の空間位置を算出する（ステップＳ１０９）。
【００６０】
以上のように、第１実施形態によれば、基準画像及び複数の非同期画像の撮像時刻が既知であるため、基準画像と複数の非同期画像それぞれとの撮像時刻のずれを算出し、基準画像と、複数の非同期画像と、複数の撮像時刻の差とに基づいて、移動体の空間位置を算出するという簡易な処理で、撮像時刻が互いに異なる複数の画像から移動体の空間位置を算出することができる。
【００６１】
また、第１実施形態によれば、基準画像が１枚、非同期画像が２枚あれば、移動体の空間位置を算出できるため、移動体の空間位置の算出に用いる画像の枚数を削減することができ、種々のコストを削減することができる。
【００６２】
なお第１実施形態の用途としては、ビルの屋上に設置したカメラから地上の歩行者や車の３次元形状の計測、屋内に設置したカメラとロボットに設置したカメラとを使った対象の３次元形状の計測、及び信号等に設置したカメラと車載カメラとを使った障害物の位置算出などが考えられる。
【００６３】
（第２実施形態）
第２実施形態では、第１視点以外の複数の視点の中から計測に用いる第２視点を選択する例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【００６４】
図１２は、第２実施形態の計測装置１１０の一例を示す構成図である。図１２に示すように、第２実施形態の計測装置１１０は、選択部１１８が、第１実施形態と相違する。
【００６５】
なお第２実施形態では、第１視点以外の視点が複数あるものする。
【００６６】
選択部１１８は、第１視点以外の複数の視点の中から、空間位置の推定誤差が他よりも小さい、前記基準画像との撮像時刻の差が他よりも小さい、及び画質が他よりも高い、の少なくともいずれかの条件を満たす視点を、第２視点に選択する。
【００６７】
まず、空間位置の推定誤差が他よりも小さい視点について説明する。
【００６８】
物体の空間位置は、前述したとおり、数式（４）及び（５）をＸについて解くことによって決まる。つまり、物体の空間位置は、撮像装置の透視投影行列によって決まる。このため、選択部１１８は、座標ｕ′０ｖにエラーである所定値εを加え、エラーが乗った状態を模擬した空間位置を、数式（６）及び（７）をＸについて解くことによって推定する。
【００６９】
【数５】
2014186004.tif 000007
【００７０】
【数６】
2014186004.tif 000008
【００７１】
そして選択部１１８は、推定のエラー値を、数式（８）を用いて求める。
【００７２】
ｅｒｒ＝｜Ｘｅ−Ｘ｜      …（８）
【００７３】
選択部１１８は、ここまで説明した処理を第１視点以外の複数の視点に対して行い、複数の視点それぞれのエラー値を求め、最もエラー値の小さくなる視点を第２視点に選択する。
【００７４】
これにより、空間位置の推定誤差が他よりも小さい視点を第２視点とすることができ、空間位置の推定精度を高めることができる。
【００７５】
次に、基準画像との撮像時刻の差が他よりも小さい視点について説明する。
【００７６】
第２算出部１９は、基準画像との撮像時刻の差を利用して、基準画像と同時刻に撮像されたと推定される推定画像を生成する。このため、選択部１１８は、撮像時刻の差が小さい、即ち、基準画像と撮像時刻が近い画像が撮像された視点を第２視点に選択する。これは、空間位置の算出の際の対応点の探索が容易になるためである。
【００７７】
これにより、対応点の探索が他よりも容易な視点を第２視点とすることができ、空間位置の推定精度を高めることができる。
【００７８】
次に、画質が他よりも高い視点について説明する。
【００７９】
画像にノイズが多く含まれていたり、撮像装置のシャッタースピード等によって被写体がぶれていたりすると、座標ｕ′０ｖの位置推定精度が下がり、数式（６）に記載のεの値が大きくなるため、空間位置の推定誤差が大きくなる。
【００８０】
図１３は、第２実施形態の画質の推定方法の一例の説明図である。選択部１１８は、図１３に示すように、画像１００１上の点１０５０（点１０５４に対応する画像１００１上の点）の空間位置１０５５と撮像装置１０００の光学中心１０００ｃとを結ぶ直線上に誤差±Ψを仮定し、空間位置１０５５Ａと空間位置１０５５Ｂを求める。そして選択部１１８は、空間位置１０５５Ａ、１０５５Ｂを画像１０１３上に投影した位置が点１０５５ａ、１０５５ｂであるとき、点１０５４と点１０５０におけるコストを、例えば、数式（３）を用いて算出する。同様に選択部１１８は、空間位置１０５５Ａ、１０５５Ｂに相当する位置におけるコストを算出する。
【００８１】
ここで、対応する位置がはっきりしている場合、算出したコストが急激に小さくなり、空間位置１０５５Ａ、１０５５、１０５５Ｂの順でコストを並べた値がＶ字型に近くなる。一方、ノイズやぶれによって対応する位置がはっきりしない場合、空間位置１０５５Ａ、１０５５、１０５５Ｂの順でコストを並べた値が―字型に近い形状になる。
【００８２】
このため、選択部１１８は、ここまで説明した処理を第１視点以外の複数の視点に対して行い、複数の視点それぞれについて、空間位置１０５５Ａ、１０５５、１０５５Ｂの順でコストを並べた値を求め、当該値が最もＶ字型に近くなる視点を第２視点に選択する。
【００８３】
これにより、画質が他よりも高い視点を第２視点とすることができ、空間位置の推定精度を高めることができる。
【００８４】
選択部１１８は、以上の３つの条件の少なくともいずれかを満たす視点を第２視点に選択する。
【００８５】
図１４は、第２実施形態の計測装置１１０で行われる処理の手順の流れの一例を示すフローチャート図である。
【００８６】
まず、ステップＳ２０１〜Ｓ２０５までの処理は、図１１のフローチャートのステップＳ１０１〜Ｓ１０５までの処理と同様である。
【００８７】
ステップＳ２０６では、選択部１１８は、第１視点以外の複数の視点の中から、空間位置の推定誤差が他よりも小さい、前記基準画像との撮像時刻の差が他よりも小さい、及び画質が他よりも高い、の少なくともいずれかの条件を満たす視点を、第２視点に選択する。
【００８８】
続いて、ステップＳ２０７〜Ｓ２０９までの処理は、図１１のフローチャートのステップＳ１０７〜Ｓ１０９までの処理と同様である。
【００８９】
以上のように、第２実施形態によれば、空間位置の推定精度が高くなる視点を第２視点に選択することができる。
【００９０】
なお第２実施形態に向く応用先としては、共通した視野を持つ３台以上の撮像装置が設置されている環境下で、より精度の高い計測をするものが考えられる。
【００９１】
（第３実施形態）
第３実施形態では、図１５に示すように、撮像装置が屋外等に設置されており、ＧＰＳ等により、撮像装置の位置が取得できる環境を想定している。第３実施形態では、ＧＰＳ等により取得可能な撮像装置１０００ｗ及び１０１０ｗの位置情報を利用して、撮像装置１０００ｗ及び１０１０ｗの外部パラメータを推定する。
【００９２】
例えば、第２算出部１９は、撮像装置１０００ｗ及び１０１０ｗの空間位置及び姿勢を推定する。前述したように、空間位置を推定するには、透視投影行列が必要である。なお、平行化処理を行う場合にも透視投影行列が必要である。
【００９３】
ここで、透視投影行列には、空間的な位置を示す３次元の並進ベクトル、撮像装置の姿勢を示す３行３列の回転行列で構成される。
【００９４】
このため第３実施形態では、例えば、第２算出部１９は、３次元の並進ベクトルを、ＧＰＳ等の絶対的な空間位置を取得（推定）できるセンサ（第１センサの一例）の値より特定する。なお、ＧＰＳでは有効な精度が得られない場合には、ＤＧＰＳや別の電波との併用等の一般に広く知られている方法によって精度を高めてもよい。
【００９５】
また例えば、第２算出部１９は、３行３列の回転行列を、撮像装置の空間的な方位情報を取得（推定）できるセンサ（第２センサの一例）の値より特定する。例えば、撮像装置の空間的な方位情報を取得（推定）できるセンサを、撮像装置に設置しておけばよい。なお、第１センサを撮像装置に２台以上設置したり、地磁気を計測できる３軸の地磁気センサを用いたりして、３行３列の回転行列を求めてもよい。
【００９６】
なお、撮像装置の空間的な位置や姿勢の推定誤差に対して、撮像装置同士の距離が十分に離れている場合には対象の空間位置の推定誤差は小さくなる。
【００９７】
（第４実施形態）
第４実施形態では、雲や飛行体の空間位置の推定など、地上に設置した撮像装置からの距離が離れた対象の空間位置を推定する例について説明する。第４実施形態でも、図１５に示す環境を想定している。
【００９８】
前述した三角測量による方法では、物体１０６０ｗのように撮像装置１０００ｗ及び１０１０ｗから対象までの距離が離れている場合、空間位置推定の誤差が大きくなる。このため第４実施形態では、空間位置推定の誤差を小さくするため、撮像装置１０００ｗ及び１０１０ｗの距離を大きくとる。なお、撮像装置同士の距離を離して設置すると、撮像装置同士を結ぶ信号線も長くなるので、ＩＰカメラ等を用いてＬＡＮやＷＡＮ経由で接続することが想定される。
【００９９】
これにより、雲１０６０ｗ等の移動物体の空間位置の算出が可能になり、雲の空間的な位置や速度を知ることができるので、日照や風等の観測や予測を行うことでき、風力発電や太陽光発電の発電予測等に用いることができる。また、雲１０６０ｗの高度も含めた空間位置と移動速度も知ることができる。さらに、撮像装置１０００ｗや撮像装置１０１０ｗにＧＰＳ等の位置が取得できるセンサがある場合には、雲１０６０ｗの位置を絶対的な位置に変換することもでき、地図情報に重畳したり、他の観測データと統合したりすることもできる。
【０１００】
第４実施形態の応用先として、たとえば撮像装置を地球上に広く分布して配置し、他の惑星の空間位置や移動速度を推定するのに用いてもよい。
【０１０１】
（変形例）
上記各実施形態とは異なる空間位置の算出手法について説明する。変形例の手法では、撮像装置１０００が撮像した画像として、基準画像以外の画像も用いる例について説明するが、上記各実施形態同様、基準画像以外の画像を用いないようにすることもできる。
【０１０２】
画像取得部１１は、撮像装置１０００により撮像された撮像時刻が異なる複数の画像を取得する。図１６は、変形例の画像取得部１１により取得された複数の画像の一例を示す図である。ここでは、画像取得部１１は、図１６に示すように、基準画像である画像１００１と、画像１００１の撮像時刻以前に撮像装置１０００により撮像された画像１００２とを取得するものとするが、これに限定されるものではない。
【０１０３】
時刻取得部１３は、撮像装置１０００により画像１００２が撮像されると、画像１００２の撮像時刻も取得する。
【０１０４】
第１算出部１７は、時刻取得部１３により取得された画像１００１の撮像時刻と、時刻取得部１３により取得された画像１００２の撮像時刻、時刻取得部１３により取得された画像１０１２の撮像時刻、及び画像１０１１の撮像時刻それぞれと、の撮像時刻の差を算出する。
【０１０５】
図１７は、変形例の撮像時刻の差の一例を示す図である。図１７に示す例では、画像１００２の撮像時刻が１００２Ｔとなっている。また図１７に示す例では、撮像時刻１００１Ｔと撮像時刻１００２Ｔとの差が１となるように、λ１、λ２は正規化されている。
【０１０６】
第２算出部１９は、基準画像から特徴点を抽出するとともに、複数の非同期画像それぞれから特徴点に対応する対応特徴点を抽出し、特徴点と、対応特徴点と、複数の撮像時刻の差とに基づいて、物体の空間位置を算出する。
【０１０７】
以下、変形例の物体の空間位置の算出について具体的に説明する。なお変形例では、撮像装置１０００及び撮像装置１０１０それぞれの内部パラメータ及び外部パラメータを用いて、画像１００１、画像１００２、画像１０１１、及び画像１０１２が平行化されているものとする。
【０１０８】
まず、第２算出部１９は、空間位置を求めたい注目点を設定する。ここで、第２算出部１９は、画像１００１上の点１０５０を注目点に設定するとする。この場合、点１０５０の座標をｕ０、奥行をＺ、物体１０２０の空間移動量をＴｍ＝｜Ｔｍｘ  Ｔｍｙ  Ｔｍｚ｜とすると、点１０５０に対応する画像１００２上の点１０５２は、数式（９）に記すように、座標ｕ１と表される。
【０１０９】
【数７】
2014186004.tif 000009
【０１１０】
但し、Ａｘは、数式（１０）の通りである。
【０１１１】
【数８】
2014186004.tif 000010
【０１１２】
ここで、撮像装置の内部パラメータは、数式（１１）の通りである。
【０１１３】
【数９】
2014186004.tif 000011
【０１１４】
ｆ、ａｆは、撮像装置の焦点距離を１画素あたりの大きさで除算したものであり、ｘ０、ｙ０は、画像の光学中心座標である。これらは、前述した平行化処理によって、あらかじめ撮像装置１０００と撮像装置１０１０で同じになるように設定されている。
【０１１５】
また、点１０５０に対応する画像１０１１上の点１０５１は、数式（１２）の通りである。
【０１１６】
【数１０】
2014186004.tif 000012
【０１１７】
Ｔｓは、撮像装置１０００及び撮像装置１０１０間の平行移動ベクトルを表している。前述した平行化処理により、Ｘ座標に０以外の値を持ち、他は０である。
【０１１８】
また、点１０５０に対応する画像１０１２上の点１０５３は、数式（１３）の通りである。
【０１１９】
【数１１】
2014186004.tif 000013
【０１２０】
そして第２算出部１９は、未知数である奥行Ｚと物体１０２０の空間移動量Ｔｍ＝｜Ｔｍｘ  Ｔｍｙ  Ｔｍｚ｜を推定することによって、点１０５０に対する点１０５１〜１０５３の対応位置を求める。具体的には、第２算出部１９は、点１０５０点１０５０の周囲にウィンドウ領域を設定してエラー関数Ｅを設定する。ここで、数式（１４）に示すように、画像１００１と画像１００２、画像１００１と画像１０１１、画像１００１と画像１０１２の間のＳＳＤをエラー関数Ｅとする。
【０１２１】
【数１２】
2014186004.tif 000014
【０１２２】
第２算出部１９は、エラー関数Ｅが最小となる奥行Ｚと空間移動量Ｔｍ＝｜Ｔｍｘ  Ｔｍｙ  Ｔｍｚ｜を、勾配法や焼きなまし法や全探索を行うことによって求めればよい。ここではエラー関数にＳＳＤを使っているが、ＮＣＣ（Normalized  Cross  Correlation）やＳＡＤ（Sum  of  Absolute  Difference）等を用いてもよい。
【０１２３】
なお、変形例では、画像１００１を基準として、画像１００２、画像１０１１、画像１０１２の４枚の画像を用いたが、画像１００１を除く１枚の画像を減じることも可能である。つまり、画像１００２を用いずに、画像１００１、画像１０１１、及び画像１０１２を用いて数式（１４）の推定を行ってもよいし、画像１０１１を用いずに、画像１００１、画像１００２、及び画像１０１２を用いて数式（１４）の推定を行ってもよいし、画像１０１２を用いずに、画像１００１、画像１００２、及び画像１０１１を用いて数式（１４）の推定を行ってもよい。また撮像装置１０００で撮像された画像と撮像装置１０１０で撮像された画像とがそれぞれ１枚以上含まれていれば、３枚以上の画像を用いることもできる。
【０１２４】
また、物体の空間位置の算出の他の手法として、各画像で特徴点を抽出し、異なる画像間で対応づけを行い、画像間で対応のついた特徴点の座標を得るようにしてもよい。例えば、画像１００１の特徴点である点１０５０に対応する点の位置を、画像１００２、画像１０１１、及び画像１０１２のうちの少なくとも２枚において求める。これにより、数式（９）、数式（１２）、数式（１３）に対応する式を使って方程式を立てることができ、これらの式の解を求めることによって、奥行Ｚと空間移動量Ｔｍ＝｜Ｔｍｘ  Ｔｍｙ  Ｔｍｚ｜を算出してもよい。
【０１２５】
（ハードウェア構成）
図１８は、上記各実施形態及び変形例の計測装置のハードウェア構成の一例を示すブロック図である。図１８に示すように、上記各実施形態及び変形例の計測装置は、ＣＰＵなどの制御装置９１と、ＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）などの記憶装置９２と、ＨＤＤ（Hard  Disk  Drive）やＳＳＤ（Solid  State  Drive）などの外部記憶装置９３と、ディスプレイなどの表示装置９４と、マウスやキーボードなどの入力装置９５と、通信Ｉ／Ｆ９６と、デジタルカメラなどの撮像装置９７とを、備えており、通常のコンピュータを利用したハードウェア構成で実現できる。
【０１２６】
上記各実施形態及び変形例の計測装置で実行されるプログラムは、ＲＯＭ等に予め組み込んで提供される。また、上記各実施形態及び変形例の計測装置で実行されるプログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供するようにしてもよい。また、上記各実施形態及び変形例の計測装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。
【０１２７】
上記各実施形態及び変形例の計測装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、例えば、制御装置９１が外部記憶装置９３からプログラムを記憶装置９２上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。
【０１２８】
以上説明したとおり、上記各実施形態及び変形例によれば、撮像時刻が互いに異なる複数の画像から簡易に物体の空間位置を算出することができる。
【０１２９】
なお本発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
【０１３０】
例えば、上記実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。
【符号の説明】
【０１３１】
１０、１１０  計測装置
１１  画像取得部
１３  時刻取得部
１５  パラメータ記憶部
１７  第１算出部
１９  第２算出部
２１  出力部
１１８  選択部
１０００、１０１０  撮像装置
【図１】
2014186004.tif 000015
【図２】
2014186004.tif 000016
【図３】
2014186004.tif 000017
【図４】
2014186004.tif 000018
【図５】
2014186004.tif 000019
【図６】
2014186004.tif 000020
【図７】
2014186004.tif 000021
【図８】
2014186004.tif 000022
【図９】
2014186004.tif 000023
【図１０】
2014186004.tif 000024
【図１１】
2014186004.tif 000025
【図１２】
2014186004.tif 000026
【図１３】
2014186004.tif 000027
【図１４】
2014186004.tif 000028
【図１５】
2014186004.tif 000029
【図１６】
2014186004.tif 000030
【図１７】
2014186004.tif 000031
【図１８】
2014186004.tif 000032