(57)【要約】【課題】次に撮影する撮影の重複状況を把握でき、撮影を過不足なく効率的に行なえる三次元計測用画像撮影装置を提供する。【解決手段】本発明による三次元計測用画像撮影装置１Ｂは、測定対象物２を単カメラにより撮影する装置で、撮影画像及びライブ画像を取得する撮影部３、撮影画像及びライブ画像から特徴点を抽出する特徴点抽出部６１、撮影画像とライブ画像に重複する特徴点の三次元座標を求める三次元位置測定部７、測定対象物２の撮影範囲を三次元空間に表現するための撮影範囲画像に各特徴点を書き込み、撮影画像を各特徴点の位置が撮影範囲画像に書き込まれた各特徴点の位置に合うように、撮影範囲画像に座標変換して当てはめる撮影範囲画像形成部８５、撮影範囲画像を表示する表示部４を備える。【選択図】図２０
2010256252.tif 000002
【特許請求の範囲】
【請求項１】
測定対象物を単カメラにより重複させながら順次撮影する三次元計測用画像撮影装置において；
撮影者が移動しながら前記測定対象物を撮影することにより現在位置でのライブ画像を取得し、適時に前記測定対象物を撮影して静止画像である撮影画像を取得する撮影部と；
前記撮影画像を記憶する撮影画像記憶部と；
前記撮影部で取得された撮影画像及びライブ画像における前記測定対象物の特徴点を抽出する特徴点抽出部と；
前記特徴点抽出部で抽出された撮影画像とライブ画像に重複する特徴点の前記撮影画像と前記ライブ画像における画面位置から、前記重複する特徴点の三次元座標を求める三次元位置測定部と；
前記重複する特徴点について、前記三次元位置測定部で求められた三次元座標と前記撮影画像における画面上の位置とを対応付けて記憶する特徴点位置関係記憶部と；
前記測定対象物の撮影範囲を三次元空間に表現する撮影範囲画像の座標空間に、前記三次元位置測定部で三次元座標が求められた各特徴点の位置を書き込み、前記特徴点位置関係記憶部に記憶された各特徴点の位置データに基づいて、前記撮影画像を、当該撮影画像の各特徴点の位置が前記撮影範囲画像に書き込まれた各特徴点の位置に合致するように座標変換して前記撮影範囲画像に当てはめることにより、前記撮影範囲画像をテクスチャ画像として形成する撮影範囲画像形成部と；
前記撮影範囲画像形成部で形成された撮影範囲画像を表示する表示部とを備える；
三次元計測用画像撮影装置。
【請求項２】
測定対象物を単カメラにより重複させながら順次撮影する三次元計測用画像撮影装置において；
撮影者が移動しながら前記測定対象物を撮影することにより現在位置でのライブ画像を取得し、適時に前記測定対象物を撮影して静止画像である撮影画像を取得する撮影部と；
前記撮影画像を記憶する撮影画像記憶部と；
前記撮影部で取得された撮影画像及びライブ画像における前記測定対象物の特徴点を抽出する特徴点抽出部と；
前記特徴点抽出部で抽出された撮影画像とライブ画像に重複する特徴点の前記撮影画像と前記ライブ画像における画面位置から、前記重複する特徴点の三次元座標を求める三次元位置測定部と；
前記撮影画像の測定対象物の領域を前記特徴点抽出部で抽出された３以上の特徴点で囲まれた領域（当該特徴点を含む）からなる撮影領域に区分する撮影領域区分部と；
前記測定対象物の撮影範囲を三次元空間に表現する撮影範囲画像の座標空間に前記三次元位置測定部で三次元座標が求められた各特徴点を書き込み、前記撮影範囲画像の座標空間に書き込まれた特徴点のうち、前記撮影領域を囲む３以上の特徴点を結線して前記撮影領域毎に区画し、前記撮影範囲画像をワイヤフレーム画像として形成する撮影範囲画像形成部と；
前記撮影範囲画像形成部で形成された撮影範囲画像を表示する表示部とを備える；
三次元計測用画像撮影装置。
【請求項３】
前記撮影画像を前記撮影領域に区分して記憶する撮影領域画像記憶部を備え；
前記撮影範囲画像形成部は、前記撮影範囲画像に区画された撮影領域に、前記撮影領域画像記憶部に記憶された各撮影領域の画像を、前記撮影領域を囲む３以上の特徴点の位置が合致するように当てはめて、撮影範囲画像をテクスチュア画像として形成する；
請求項２に記載の三次元計測用画像撮影装置。
【請求項４】
前記現在位置でのライブ画像を前記撮影画像として取得した時点で、前記撮影範囲画像形成部で形成された撮影範囲画像を既撮影範囲画像として記憶する撮影範囲画像記憶部と；
新たなライブ画像と重複する特徴点を抽出するための撮影画像を既撮影画像から選択し、前記新たなライブ画像と選択された撮影画像をステレオ画像とするステレオ画像選択部とを備え；
前記撮影範囲画像形成部は、前記選択された撮影画像と前記新たなライブ画像に基づいて新たな撮影範囲画像を現撮影範囲画像として形成し、
前記表示部は、前記既撮影範囲画像と前記現撮影範囲画像とを合せて表示する；
請求項１ないし請求項３のいずれか１項に記載の三次元計測用画像撮影装置。
【請求項５】
前記三次元位置測定部は、前記特徴点抽出部で抽出された撮影画像とライブ画像に重複する特徴点の前記撮影画像と前記ライブ画像における画面位置から、前記撮影部の撮影位置と撮影方向を求め；
前記表示部は、前記撮影範囲画像を前記求められた撮影方向から見た画像として表示する；
請求項１ないし請求項４のいずれか１項に記載の三次元計測用画像撮影装置。
【請求項６】
前記三次元位置測定部は、前記特徴点抽出部で抽出された撮影画像とライブ画像に重複する特徴点の前記撮影画像と前記ライブ画像における画面位置から、前記撮影部の撮影位置と撮影方向を求め；
予め定められた複数の撮影予定位置を記憶する撮影予定位置記憶部と；
前記三次元位置測定部で求められた撮影位置と前記撮影予定位置記憶部に記憶された複数の撮影予定位置とを比較して、前記複数の撮影予定位置から次回撮影予定位置を選択する次回撮影予定位置選択部と；
前記次回撮影予定位置に対する撮影位置の相対的位置を求める移動情報演算部と；
前記移動情報演算部で求められた相対位置に基づいて前記撮影位置から前記次回撮影予定位置へ撮影者が移動するようにガイド情報を作成し、前記表示部に報知させる移動情報報知部とを備える；
請求項１ないし請求項４のいずれか１項に記載の三次元計測用画像撮影装置。
【請求項７】
前記撮影範囲画像に撮影不足領域が有るか否かを判定する撮影不足領域判定部と；
前記測定対象物を模擬した模擬対象物に係る撮影範囲画像を記憶する見本画像記憶部を備え；
前記撮影不足領域判定部は、前記測定対象物に係る撮影範囲画像を前記模擬対象物に係る撮影範囲画像と比較することにより、撮影不足領域が有るか否かを判定する；
請求項１ないし請求項６のいずれか１項に記載の三次元計測用画像撮影装置。
【請求項８】
前記特徴点は自他識別可能な識別コードを有するマークを含み；
前記特徴点抽出部で抽出されたマークの識別コードを識別するコード識別部を備える；
請求項１ないし請求項７のいずれか１項に記載の三次元計測用画像撮影装置。
【請求項９】
測定対象物を単カメラにより重複させながら順次撮影する三次元計測用画像撮影方法において；
撮影者が適時に前記測定対象物を撮影して静止画像である撮影画像を取得する撮影工程と；
撮影者が移動しながら前記測定対象物を撮影することにより現在位置でのライブ画像を取得するライブ画像取得工程と；
前記撮影画像を記憶する撮影画像記憶工程と；
前記撮影工程で取得された撮影画像及び前記ライブ画像取得工程で取得されたライブ画像における前記測定対象物の特徴点を抽出する特徴点抽出工程と；
前記特徴点抽出工程で抽出された撮影画像とライブ画像に重複する特徴点の前記撮影画像と前記ライブ画像における画面位置から、前記重複する特徴点の三次元座標を求める三次元位置測定工程と；
前記重複する特徴点について、前記三次元位置測定工程で求められた三次元座標と前記撮影画像及び前記ライブ画像における画面上の位置とを対応付けて記憶する特徴点位置関係記憶工程と；
前記測定対象物の撮影範囲を三次元空間に表現する撮影範囲画像の座標空間に、前記三次元位置測定工程で三次元座標が求められた各特徴点の位置を書き込み、前記特徴点位置関係記憶工程で記憶された各特徴点の位置データに基づいて、前記撮影工程で取得された撮影画像を、当該撮影画像の各特徴点の位置が前記撮影範囲画像に書き込まれた各特徴点の位置に合致するように座標変換して前記撮影範囲画像に当てはめることにより、前記撮影範囲画像をテクスチャ画像として形成する撮影範囲画像形成工程と；
前記撮影範囲画像形成工程で形成された撮影範囲画像を表示する表示工程とを備える；
三次元計測用画像撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は三次元計測用画像撮影装置及びその方法に関する。詳しくは、測定対象物を単カメラにより重複させながら順次撮影する際に、撮影の進捗状況を把握しながら撮影を進める三次元計測用画像撮影装置及びその方法に関する。
【背景技術】
【０００２】
測定対象物の全体像を把握し、三次元モデル画像に再現するには、複数の撮影位置から撮影した撮影画像を連結していく必要がある。このように撮影者が移動しながら撮影した複数の撮影画像から撮影装置または対象物の三次元座標を測定するには、２枚以上の各撮影画像上で相互に対応する特徴点（対象物上の同一点を表す）を求め、これを追跡する必要がある。この場合、三次元計測に不適切な特徴点が撮影画像に混入し得るので、撮影画像における特徴点の適否を判定しながら、その撮影装置の撮影位置、姿勢又は対象物の位置座標を精度良く計測できる画像処理装置が提案されている。（特許文献１参照）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１８３２５６号公報（図１〜図１１、段落００２１〜００６５）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
単カメラを用いて移動しながら撮影を行い、測定対象物の三次元計測を行う場合に、多数の方向からかつ画像を重複させながら撮影を行い、画像を連続的に接続して行く必要がある。しかしながら、測定対象物の全周撮影を行う場合や、測定対象物が大きい場合・広い場合、形状が複雑な場合等には、撮影枚数が多数になり、三次元計測に必要な画像の重複状態が不明になったり、撮りこぼしが生じたりして、結果的に撮影画像に不足が生じ、解析ができない、再度現場に行き撮り直しする必要が生じる等、効率が悪くなるという問題があった。他方、撮影不足を補うために予め撮影枚数を多目にすると、解析時の画像処理や作業の手間が多くなり、やはり結果的に効率が悪くなるという問題があった。
【０００５】
本発明は、上記問題点に鑑みてなされたものであり、単カメラを用いて移動しながら撮影を行う場合に、次に撮影する撮影の重複状況を把握できれば、撮影を過不足なく効率的に行なうことが可能になる。すなわち、１回撮影すれば外観を捉えることができるが、三次元計測には２つの撮影画像に重複して撮影された特徴点を使用するため２回以上の撮影が必要である。また、撮影画像をパノラマ画像のように接続するためには、接続に使用される特徴点は３回以上撮影される必要がある。また、特徴点の撮影回数が多い程、当該特徴点の三次元計測の精度が向上する。そこで、撮影の途中において、撮影の重複状況を把握できるようにすることが望まれていた。
【０００６】
本発明は、次に撮影する撮影の重複状況を把握でき、撮影を過不足なく効率的に行なえる三次元計測用画像撮影装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の第１の態様の三次元計測用画像撮影装置１Ｂは、例えば図２０に示すように、測定対象物２を単カメラにより重複させながら順次撮影する三次元計測用画像撮影装置において、撮影者が移動しながら測定対象物２を撮影することにより現在位置でのライブ画像を取得し、適時に測定対象物２を撮影して静止画像である撮影画像を取得する撮影部３と、撮影画像を記憶する撮影画像記憶部５１と、撮影部３で取得された撮影画像及びライブ画像における測定対象物２の特徴点を抽出する特徴点抽出部６１と、特徴点抽出部６１で抽出された撮影画像とライブ画像に重複する特徴点の撮影画像とライブ画像における画面位置から、重複する特徴点の三次元座標を求める三次元位置測定部７と、重複する特徴点について、三次元位置測定部７で求められた三次元座標と撮影画像における画面上の位置とを対応付けて記憶する特徴点位置関係記憶部５５と、測定対象物２の撮影範囲を三次元空間に表現する撮影範囲画像の座標空間に、三次元位置測定部７で三次元座標が求められた各特徴点の位置を書き込み、特徴点位置関係記憶部５５に記憶された各特徴点の位置データに基づいて、撮影画像を、当該撮影画像の各特徴点の位置が撮影範囲画像に書き込まれた各特徴点の位置に合致するように座標変換して撮影範囲画像に当てはめることにより、撮影範囲画像をテクスチャ画像として形成する撮影範囲画像形成部８５と、撮影範囲画像形成部８５で形成された撮影範囲画像を表示する表示部４とを備える。
【０００８】
ここにおいて、ライブ画像とは、移動中の撮影者が現在位置でビデオカメラやデジタルカメラ等で測定対象物２を撮影した画像をいう。通常は、ビデオカメラやデジタルカメラを用いて撮影者が移動しながらディスプレイ等に測定対象物をライブ画像として表示する。また、撮影範囲画像とは、測定対象物２の撮影範囲を三次元空間に表現する画像である。撮影範囲画像は、最初は座標空間だけであるが、撮影範囲画像形成部８５により各特徴点の位置が書き込まれ、書き込まれた各特徴点の位置に合致するように、座標変換して撮影画像を当てはめる（貼り付ける）ことによりテクスチャ画像として形成される。また、座標変換には、アフィン変換やヘルマート変換を使用できる。例えば、ほぼ平面状に配置された特徴点を含む領域を抽出して、撮影画像記憶部５１に記憶された撮影画像を、当該撮影画像の各特徴点の位置が撮影範囲画像に書き込まれた各特徴点の位置に合致するように、撮影範囲画像に座標変換して当てはめていくことにより、撮影範囲画像をテクスチャ画像として形成できる。少なくとも３つの特徴点で囲まれた領域に分割して座標変換し、合成していけば、撮影範囲画像をテクスチャ画像として形成できる。また、撮影が進むにつれて、特徴点が追加され、テクスチャ画像として表現される範囲が増加していく。撮影範囲画像はこれまでに重複撮影された既撮影範囲画像と、ライブ画像と既撮影画像に基づいて形成される現撮影範囲画像とに分けられる。本態様によれば、現撮影範囲画像が表示部４に表示される。現撮影範囲画像と既撮影範囲画像を合せて表示すると、撮影が進むにつれて、撮影範囲画像に表示される測定対象物の領域が増加していくので好ましい。また、三次元空間に表現される画像として、典型的には透視図、投影図からなる三次元モデル画像が挙げられるが、オルソ画像、全周囲画像も三次元空間を特定方向から見て表現される画像なので、三次元空間に表現される画像に含まれるものとする。また、テクスチャ画像は測定対象物の表面の質感を表わすために撮影画像を貼り付けた画像をいうが、表面は必ずしも測定対象物の起伏に沿っておらず、例えば特徴点を直線で繋いで区画した面を含むものとする。また、テクスチャ画像を構成する面は曲折があっても良く、特徴点は離散的に抽出されても良い。
【０００９】
本態様のように構成すると、単カメラを用いて移動しながら撮影を行う場合に、撮影範囲画像を用いて撮影範囲を視覚的に明示するので、次に撮影する撮影の重複状況を把握でき、撮影を過不足なく効率的に行なえる三次元計測用画像撮影装置を提供できる。また、撮影範囲画像に撮影画像を貼り付けるので、撮影範囲画像をテクスチュア画像として実物ライクに表現でき、次に撮影する撮影の重複状況をビジュアルに把握できる。
【００１０】
本発明の第２の態様の三次元計測用画像撮影装置１は、例えば図１に示すように、測定対象物２を単カメラにより重複させながら順次撮影する三次元計測用画像撮影装置において、撮影者が移動しながら測定対象物２を撮影することにより現在位置でのライブ画像を取得し、適時に測定対象物２を撮影して静止画像である撮影画像を取得する撮影部３と、撮影画像を記憶する撮影画像記憶部５１と、撮影部３で取得された撮影画像及びライブ画像における測定対象物２の特徴点を抽出する特徴点抽出部６１と、特徴点抽出部６１で抽出された撮影画像とライブ画像に重複する特徴点の撮影画像とライブ画像における画面位置から、重複する特徴点の三次元座標を求める三次元位置測定部７と、撮影画像の測定対象物２の領域を特徴点抽出部６１で抽出された３以上の特徴点で囲まれた領域（当該特徴点を含む）からなる撮影領域に区分する撮影領域区分部８１と、測定対象物２の撮影範囲を三次元空間に表現する撮影範囲画像の座標空間に三次元位置測定部７で三次元座標が求められた各特徴点を書き込み、撮影範囲画像の座標空間に書き込まれた特徴点のうち、撮影領域を囲む３以上の特徴点を結線して撮影領域毎に区画し、撮影範囲画像をワイヤフレーム画像として形成する撮影範囲画像形成８５と、撮影範囲画像形成部８５で形成された撮影範囲画像を表示する表示部４とを備える。
【００１１】
ここにおいて、撮影範囲画像は、最初は座標空間だけであるが、撮影範囲画像形成部８５により各特徴点が書き込まれ、撮影領域を囲む３以上の特徴点を結線して撮影領域毎に区画されることによりワイヤフレーム画像として形成され、必要に応じて、区画された撮影領域に撮影画像を当てはめる（貼り付ける）ことによりテクスチャ画像として形成される。また、撮影が進むにつれて、特徴点、撮影領域が追加され、ワイヤフレーム画像やテクスチャ画像として表現される範囲が増加していく。また、撮影領域は、ここでは３以上の特徴点に囲まれた領域である。必ずしも撮影画像の範囲（実際に撮影された範囲）に一致しなくても良く、例えば、この領域に焦点を当てて撮影したいというように、撮影の目標と成り得る領域であっても良い。撮影領域を撮影画像内の特徴点に囲まれた最大の多角形領域としても良いが、この場合は他の撮影画像と一部重複することが見出されたら、重複部分と非重複部分で撮影回数に差異が生じるので、重複部分と非重複部分に分割するのが良い。また、３つの特徴点に囲まれた小領域としても良いが、撮影領域数が多くなり、コンピュータの処理量が多くなるので、撮影回数が等しい複数の小領域を統合するのが良い。撮影画像の重複を見るためであれば、撮影画像全体の１／２〜１／１０程度が好適、１／３〜１／５程度がより好適である。また、撮影画像における全ての撮影領域でカバーされる範囲が実際に撮影された範囲より狭くなり、これらの撮影領域外の部分が撮影されなかったとみなしても、確実に撮影された領域で撮影回数を計数していけば、重複を確実にする意味で安全サイドなので、必要な重複撮影を実行する上で問題はない。また、撮影領域画像記憶部５４に記憶する撮影領域の部分は、その撮影領域が撮影されたいずれかの撮影画像から取得できるが、できるだけ当該撮影領域に垂直方向から撮影した撮影領域の部分を取得するのが、撮影範囲画像に当てはめる（貼り付ける）際の変形を少なくできるので好適である。また、ワイヤフレーム画像は測定対象物の三次元形状を線で表現した画像をいうが、線は必ずしも測定対象物の起伏に沿っておらず、例えば特徴点を直線で接続した画像を含むものとする。また、ワイヤフレーム画像を構成する特徴点は離散的に抽出されても良い。
【００１２】
本態様のように構成すると、単カメラを用いて移動しながら撮影を行う場合に、撮影範囲画像を用いて撮影範囲を視覚的に明示するので、次に撮影する撮影の重複状況を把握でき、撮影を過不足なく効率的に行なえる三次元計測用画像撮影装置を提供できる。
【００１３】
本発明の第３の態様の三次元計測用画像撮影装置１は、第２の態様の三次元計測用画像撮影装置において、例えば図１に示すように、撮影画像を撮影領域に区分して記憶する撮影領域画像記憶部５４を備え、撮影範囲画像形成部８５は、撮影範囲画像に区画された撮影領域に、撮影領域画像記憶部５４に記憶された各撮影領域の画像を、撮影領域を囲む３以上の特徴点の位置が合致するように当てはめて、撮影範囲画像をテクスチュア画像として形成する。
【００１４】
ここにおいて、撮影範囲画像に区画された撮影領域に撮影領域画像記憶部５４に記憶された撮影領域の画像を当てはめるとは、撮影領域を囲む３以上の特徴点の特徴点番号が撮影領域画像記憶部５４に記憶された撮影領域の画像と撮影範囲画像に区画された撮影領域とで合致するように、撮影領域画像記憶部５４に記憶された撮影領域の画像を伸縮して、撮影範囲画像の当該撮影領域の位置に当てはめる（貼り付ける）ことをいう。例えば、撮影領域を囲む３以上の特徴点の全てが同一平面上にある場合は、二次元平面上で伸縮して貼り付ければ良い。全ての特徴点が同一平面上にない場合は、各３つの特徴点を選択して二次元平面上で伸縮して貼り付け、それを合成していくことにより撮影領域の画像を形成しても良い。本態様のように構成すると、撮影範囲画像に撮影画像を貼り付けるので、撮影範囲画像をテクスチュア画像として実物ライクに表現でき、次に撮影する撮影の重複状況をビジュアルに把握できる。
【００１５】
本発明の第４の態様の三次元計測用画像撮影装置１Ｂは、第１なし第３のいずれかの態様の三次元計測用画像撮影装置において、例えば図２０に示すように、現在位置でのライブ画像を撮影画像として取得した時点で、撮影範囲画像形成部８５で形成された撮影範囲画像を既撮影範囲画像として記憶する撮影範囲画像記憶部５８と、新たなライブ画像と重複する特徴点を抽出するための撮影画像を既撮影画像から選択し、前記新たなライブ画像と選択された撮影画像をステレオ画像とするステレオ画像選択部７０とを備え、撮影範囲画像形成部８５は、選択された撮影画像と新たなライブ画像に基づいて新たな撮影範囲画像を現撮影範囲画像として形成し、表示部４は、既撮影範囲画像と現撮影範囲画像とを合せて表示する。
このように構成すると、既撮影範囲画像と現撮影範囲画像とを合せて表示するので、撮影の進捗状況を容易に把握できる。
【００１６】
本発明の第５の態様の三次元計測用画像撮影装置１は、第１ないし第４のいずれかの態様の三次元計測用画像撮影装置において、例えば図１に示すように、三次元位置測定部７は、特徴点抽出部６１で抽出された撮影画像とライブ画像に重複する特徴点の撮影画像とライブ画像における画面位置から、撮影部３の撮影位置と撮影方向を求め、表示部４は、撮影範囲画像を求められた撮影方向から見た画像として表示する。
このように構成すると、撮影部３の撮影位置と撮影方向を求め、その方向から見た撮影範囲画像を表示部４に表示するので、今回の撮影により追加される重複撮影部分を予測できる。
【００１７】
本発明の第６の態様の三次元計測用画像撮影装置１Ｄは、第１ないし第４のいずれかの態様の三次元計測用画像撮影装置において、例えば図２８に示すように、三次元位置測定部７は、特徴点抽出部６１で抽出された撮影画像とライブ画像に重複する特徴点の撮影画像とライブ画像における画面位置から、撮影部３の撮影位置と撮影方向を求め、予め定められた複数の撮影予定位置を記憶する撮影予定位置記憶部５７と、三次元位置測定部７で求められた撮影位置と撮影予定位置記憶部５７に記憶された複数の撮影予定位置とを比較して、複数の撮影予定位置から次回撮影予定位置を選択する次回撮影予定位置選択部９２と、次回撮影予定位置に対する撮影位置の相対的位置を求める移動情報演算部９１と、移動情報演算部９１で求められた相対位置に基づいて撮影位置から次回撮影予定位置へ撮影者が移動するようにガイド情報を作成し、表示部４に報知させる移動情報報知部９３とを備える。
このように構成すると、撮影予定位置を定めて撮影を行うので、計画的に撮影ができる。また、ガイド情報により撮影者を撮影予定位置にガイドするので、撮影予定位置で撮影できる確実性が高い。
【００１８】
本発明の第７の態様の三次元計測用画像撮影装置１Ｂは、第１ないし第６のいずれかの態様の三次元計測用画像撮影装置において、例えば図２０に示すように、撮影範囲画像に撮影不足領域が有るか否かを判定する撮影不足領域判定部８６と、測定対象物２を模擬した模擬対象物に係る撮影範囲画像を記憶する見本画像記憶部５６を備え、撮影不足領域判定部８６は、測定対象物２に係る撮影範囲画像を模擬対象物に係る撮影範囲画像と比較することにより、撮影不足領域が有るか否かを判定する。
【００１９】
ここにおいて、模擬対象物とは、例えば、測定対象物が自動車である場合には、測定対象物に似た自動車又は自動車に似た模型をいう。形状が似ているほど好ましい。ただし、同じ型式の自動車や同一自動車で、ボケた部分や異物混入部分を修正したい、より高画質の撮影画像を得たい、条件を変えて撮影したい等の場合もあるので、模擬対象物は同じ型式の物や測定対象物自体を含むものとする。本態様のように構成すると、測定対象物に係る撮影範囲画像を模擬対象物に係る撮影範囲画像と比較することにより、自動的に撮影不足領域を検出できる。また、測定対象物に係る撮影範囲画像と模擬対象物に係る撮影範囲画像を表示部４に並べて表示し、撮影者が比較・確認できるようにしても良い。
【００２０】
本発明の第８の態様の三次元計測用画像撮影装置１Ｃは、第１ないし第７のいずれかの態様の三次元計測用画像撮影装置において、例えば図２２に示すように、特徴点は自他識別可能な識別コードを有するマークを含み、特徴点抽出部６１で抽出されたマークの識別コードを識別するコード識別部６３を備える。
【００２１】
ここにおいて、自他識別可能な識別コードを有するマークには、数字列、文字列、記号のように識別可能な符号を用いたコード、バーコード、２次元バーコード、カラーコードのようにパターン配置に識別性を持たせたコードが含まれる。このうち、実施例では主にカラーコードを使用する例を説明する。マークの配置は、例えば、測定対象物２の全容を把握できるように測定対象物２の表面にほぼ均等な間隔で配置することが好ましい。また、形状が複雑な部分や変化の大きい部分には詳細を把握しやすいように高密度に配置することが好ましい。本態様のように構成すると、識別コードを利用して、特徴点抽出や対応点探索が容易になり、三次元位置計測が効率的になる。また、自他識別可能な識別コードを有するマークを用いるので、撮影画像の接続、マーク位置の三次元計測、三次元モデル画像の形成等の画像処理の自動化に有利である。
【００２２】
本発明の第９の態様の三次元計測用画像撮影方法は、例えば図２１に示すように、測定対象物２を単カメラにより重複させながら順次撮影する三次元計測用画像撮影方法において、撮影者が適時に前記測定対象物を撮影して静止画像である撮影画像を取得する撮影工程（Ｓ１００）と、撮影者が移動しながら前記測定対象物を撮影することにより現在位置でのライブ画像を取得するライブ画像取得工程（Ｓ１１０）と、撮影画像を記憶する撮影画像記憶工程（Ｓ１０５）と撮影工程で取得された撮影画像及び前記ライブ画像取得工程で取得されたライブ画像における測定対象物２の特徴点を抽出する特徴点抽出工程（Ｓ１２０）と、特徴点抽出工程で抽出された撮影画像とライブ画像に重複する特徴点の撮影画像とライブ画像における画面位置から、重複する特徴点の三次元座標を求める三次元位置測定工程（Ｓ１４０）と、重複する特徴点について、三次元位置測定工程で求められた三次元座標と撮影画像及びライブ画像における画面上の位置とを対応付けて記憶する特徴点位置関係記憶工程（Ｓ２１５）と、測定対象物２の撮影範囲を三次元空間に表現する撮影範囲画像の座標空間に三次元位置測定工程で求められた各特徴点の位置を書き込み、特徴点位置関係記憶工程で記憶された各特徴点の位置データに基づいて、撮影工程で取得された撮影画像を、当該撮影画像の各特徴点の位置が撮影範囲画像に書き込まれた各特徴点の位置に合致するように座標変換して撮影範囲画像に当てはめることにより、撮影範囲画像をテクスチャ画像として形成する撮影範囲画像形成工程（Ｓ２５０Ａ）と、撮影範囲画像形成工程で形成された撮影範囲画像を表示する表示工程（Ｓ１６０）とを備える。
【００２３】
本態様のように構成すると、単カメラを用いて移動しながら撮影を行う場合に、撮影範囲画像を用いて撮影範囲を視覚的に明示するので、次に撮影する撮影の重複状況を把握でき、撮影を過不足なく効率的に行なえる三次元計測用画像撮影方法を提供できる。
【発明の効果】
【００２４】
本発明によれば、単カメラを用いて移動しながら撮影を行う場合に、次に撮影する撮影の重複状況を把握でき、撮影を過不足なく効率的に行なえる画像撮影装置を提供できる。
【図面の簡単な説明】
【００２５】
【図１】実施例１に係る三次元計測用画像撮影装置の構成例を示すブロック図である。
【図２】対応点探索を説明するための図である。
【図３】特徴点及び対応点の例を示す図である。
【図４】相互標定を説明するための図である。
【図５】ステレオ法を説明するため図である。
【図６】撮影対象物である土器に特徴点としてのマークが貼付された撮影画像の例を示す図である。
【図７】撮影範囲画像の座標空間に書き込まれた特徴点の位置の例を示す図である。
【図８】撮影範囲画像における撮影領域の区画例を示す図である。
【図９】撮影範囲画像における撮影領域を撮影回数で区別した例を示す図である。
【図１０】撮影範囲画像に撮影領域が追加されていく例を示す図である。
【図１１】撮影範囲画像の完成例を示す図である。
【図１２】実施例１における撮影範囲画像に撮影画像を貼付表示した例を示す図である。
【図１３】撮影範囲画像がオルソ画像である例を示す図である。
【図１４】撮影範囲画像がワイヤフレーム画像である例を示す図である。
【図１５】撮影範囲画像が全周画像である例を示す図である。
【図１６】実施例１における画像撮影の処理フロー例を示す図である。
【図１７】実施例１における撮影範囲画像形成の処理フロー例を示す図である。
【図１８】実施例２に係る三次元計測用画像撮影装置の構成例を示すブロック図である。
【図１９】実施例２における画像撮影の処理フロー例を示す図である。
【図２０】実施例３に係る三次元計測用画像撮影装置の構成例を示すブロック図である。
【図２１】実施例３における撮影範囲画像形成の処理フロー例を示す図である。
【図２２】実施例４に係る三次元計測用画像撮影装置の構成例を示すブロック図である。
【図２３】カラーコードターゲットの例を示す図である。
【図２４】レトロターゲットを用いた重心位置検出の説明図である。
【図２５】実施例４における撮影範囲画像の例を示す図である。
【図２６】実施例４における画像撮影の処理フロー例を示す図である。
【図２７】カラーコードターゲットとレトロターゲットとを共に識別性マークとして用いる例を示す図である。
【図２８】実施例６に係る三次元計測用画像撮影装置の構成例を示すブロック図である。
【図２９】実施例６における画像撮影の処理フロー例を示す図である。
【図３０】測定対象物と撮影予定位置との位置関係を示す図である。
【図３１】撮影予定位置を撮影範囲画像に書き込んだ例（その１）を示す図である。
【図３２】撮影予定位置を撮影範囲画像に書き込んだ例（その２）を示す図である。
【図３３】撮影範囲画像に撮影位置を指示した例（その１）を示す図である。
【図３４】撮影範囲画像に撮影位置を指示した例（その２）を示す図である。
【図３５】撮影範囲画像に撮影領域を形成した例（その１）を示す図である。
【図３６】撮影範囲画像に撮影領域を形成した例（その２）を示す図である。
【図３７】撮影範囲画像に撮影領域を形成した例（その３）を示す図である。
【図３８】撮影範囲画像に撮影領域を貼付表示した例（その１）を示す図である。
【図３９】撮影範囲画像に撮影画像を貼付表示した例（その２）を示す図である。
【図４０】実施例７における画像撮影の処理フロー例を示す図である。
【図４１】実施例７における撮影範囲画像の例（その１）を示す図である。
【図４２】実施例７における撮影範囲画像の例（その２）を示す図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照して、本発明の実施の形態について説明する。尚、各図において、互いに同一又は相当する部分には同一符号を付し，重複した説明は省略する。以下の実施例は、測定対象物を単カメラにより重複させながら順次撮影する際に、撮影の進捗状況を把握しながら撮影を進める三次元計測用画像撮影装置及び撮影方法に関する。
【実施例１】
【００２７】
実施例１では、測定対象物の特徴点の三次元座標を求め、撮影画像を３以上の特徴点に囲まれた撮影領域に区分して、測定対象物の撮影範囲を三次元空間に表現する撮影範囲画像を形成する例を説明する。また、撮影の都度、新たな撮影範囲画像を形成し、表示する例を説明する。また、撮影不足領域の有無の判定は、撮影領域の撮影回数を計数し、所定の撮影回数に達していない撮影領域の有無により行なう例を説明する。
【００２８】
［装置構成］
図１は本発明の実施例１に係る三次元計測用画像撮影装置１の構成例を示すブロック図である。三次元計測用画像撮影装置１は、測定対象物２を撮影する撮影部３、撮影画像及び画像処理した画像等を表示する表示部４、操作者がデータや指示等を入力する入力部４Ａ、撮影画像、ライブ画像及び画像処理した画像、特徴点や撮影領域の位置や撮影回数等を記憶する記憶部５、撮影画像及びライブ画像から特徴点を抽出する特徴抽出部６、測定対象物２の特徴点及び撮影位置の三次元座標を求める三次元位置測定部７、撮影画像を撮影領域に区分する、特徴点や撮影領域の撮影回数を計数する、撮影範囲画像を形成する、撮影不足領域の有無を判定する等の画像処理を行う画像処理部８、三次元計測用画像撮影装置１及びそれを構成する各部を制御する制御部１０を備える。記憶部５は、ライブ画像記憶部５０、撮影画像記憶部５１、特徴点撮影回数記憶部５２、領域撮影回数記憶部５３、撮影領域画像記憶部５４、特徴点位置関係記憶部５５、撮影範囲画像記憶部５８を有する。特徴抽出部６は、特徴点抽出部６１を有する。三次元位置測定部７は、ステレオ画像選択部７０、対応点探索部７１、標定部７２、三次元位置演算部７３を有する。画像処理部８は、撮影領域区分部８１、特徴点撮影回数計数部８２、領域撮影回数計数部８３、測定対象物境界抽出部８４、撮影範囲画像形成部８５、撮影不足領域判定部８６、撮影不足情報報知部８７を有する。なお、特徴抽出部６、三次元位置測定部７、画像処理部８、制御部１０はパーソナルコンピュータ（ＰＣ）１５内に構成される。
【００２９】
本実施例に係る三次元計測用画像撮影装置１は、測定対象物２の全周撮影を行う場合や、測定対象物２が大きい場合・広い場合、形状が複雑な場合等の撮影に適している。
撮影部３は、単カメラ、例えばビデオカメラやデジタルカメラで構成される。撮影者は、撮影部３としての単カメラを用いて、例えば測定対象物２の周りを移動しながら、重複撮影領域を設けて順次撮影する。この際、表示部４に撮影部３の現在位置におけるライブ画像が表示され、撮影者はライブ画像を見て撮影すべきと判断した時にシャッター操作により静止画像である撮影画像を撮影して取得する。取得されたライブ画像はライブ画像記憶部５０に一時的に記憶され、取得された撮影画像は撮影画像記憶部５１に記憶される。三次元計測するには、重複撮影領域を共有する２つの撮影画像をステレオ画像として、その重複撮影領域から特徴点を抽出し、これらの特徴点の三次元座標を求めるため、重複して撮影することが必要である。ビデオカメラではシャッター操作により通常は撮影画像を外部のメモリに記憶するが、内部メモリがあればそこに記憶される。デジタルカメラではシャッター操作により撮影画像を内部メモリに記憶する。
【００３０】
表示部４は、例えば、液晶ディスプレイ等のディスプレイを有する。少なくとも、ライブ画像と測定対象物２の撮影範囲画像を表示し、その中に特徴点や撮影領域を表示する。その他、撮影画像、画像処理した画像、オルソ画像、全周囲画像等を表示しても良い。また、音声表示する場合にはスピーカを有する。
入力部４Ａは、例えばマウスやキーボードを有し、操作者がデータ及び指示を入力するために使用される。
【００３１】
記憶部５は、例えばハードディスクで構成され、データベースとして使用される。ライブ画像を一時的に記憶するライブ画像記憶部５０、撮影画像及び画像処理した画像を記憶する撮影画像記憶部５１、各特徴点について、撮影回数を特徴点番号と対応付けて記憶する特徴点撮影回数記憶部５２、各撮影領域について、撮影回数を当該撮影領域を囲む特徴点の特徴点番号と対応付けて記憶する領域撮影回数記憶部５３、撮影画像から各撮影領域の画像を抽出して記憶する撮影領域画像記憶部５４、各特徴点について、特徴点番号を三次元位置座標及び各撮影画像中の位置座標と対応付けて記憶する特徴点位置関係記憶部５５、測定対象物２の撮影範囲を三次元空間に表現する撮影範囲画像を記憶する撮影範囲画像記憶部５８を有する。撮影画像記憶部５１としてカメラの内部メモリを用いても良いが、ＰＣ１５のハードディスクを用いる方が高速、多様な処理に適しているので好ましい。本実施例では、外部メモリを用いるカメラでは撮影画像を記憶部５に直接記憶し、内部メモリを用いるカメラでは撮影画像を記憶部５に転送するものとする。撮影者が移動しながらビデオカメラ又はデジタルカメラで撮影されたライブ画像は常時ライブ画像記憶部５０のテンポラリメモリに上書きされ、表示部４に転送される。また、テンポラリメモリから適当なフレーム間隔でサンプリングされて、ライブ画像記憶部５０の蓄積用メモリに所定期間保存され、編集や画像処理に利用できる。撮影者が表示部４に表示されたライブ画像で撮影範囲画像を形成したい場合には、例えば入力部４Ａから「Ａ」を入力することにより、三次元計測用画像撮影装置１は、表示部４のライブ画像を静止させると共に、ライブ画像記憶部５０において、その時点でのライブ画像を蓄積用メモリから編集用メモリに取り込み、当該ライブ画像を用いて、特徴点抽出、三次元計測及び画像処理を行って、撮影範囲画像を形成して表示部４に表示させる。表示部４には編集用メモリに取り込んだと同じライブ画像を蓄積用メモリから抽出して表示させる。そして、撮影者がそのライブ画像で撮影を行ないたいと判断した場合には、例えば入力部４Ａから「Ｂ」を入力することにより、当該編集用メモリに取り込まれたライブ画像を撮影画像として取得することも可能であり、例えば入力部４Ａから「Ｃ」を入力することにより、ライブ画像の静止を解除し、撮影者が表示部４に新たに表示されたライブ画像と上記形成された撮影範囲画像を比較して、適切と判断される撮影位置でシャッター操作し、撮影画像を取得することも可能である。また、静止したライブ画像を別途表示させても良い。なお、所定期間とは、この記例ではライブ画像を撮影画像として取得するために、かつライブ画像の静止を解除するために充分な時間であれば良い。撮影画像として取得した後、又はライブ画像の静止を解除した後は、テンポラリメモリから蓄積用メモリに次のライブ画像を上書きできる。なお、蓄積用メモリに保存されるライブ画像は単数でも複数でも良い。
【００３２】
［特徴抽出部］
特徴抽出部６は、撮影画像及びライブ画像から特徴点を抽出する特徴点抽出部６１を有する。特徴点抽出部６１は撮影画像及びライブ画像から特徴点を抽出する。特徴点には、例えば測定対象物２の中心位置、重心位置、コーナー位置、他と異なる特徴を有する位置、測定対象物２に貼付された又は投影された標識などがある。特徴点抽出には特徴抽出オペレータが使用される。ここではモラベック（ＭＯＲＡＶＥＣ）オペレータを用いる例を説明する。
【００３３】
ＭＯＲＡＶＥＣオペレータは、汎用の特徴抽出器として古くから使用されている。ＭＯＲＡＶＥＣオペレータは、例えば、ある注目画素の周囲３×３画素をマスクとし、マスクが注目画素の周囲４方向に各１画素移動した際の濃度差分（方向濃度差分）の最小値をその注目画素の特徴量とする。処理が単純で高速であること、比較的容易にハード化が可能なことなどが特徴である。なお、高速処理を行うためには、画像の数倍のメモリが必要となる。ここではモラベックオペレータによる特徴点抽出を説明したが、他のオペレータ、例えばハリスオペレータやその他のもの、特徴点を検出できるものならなんでもよい。
【００３４】
［三次元位置測定部］
三次元位置測定部７は、特徴抽出部６で抽出された特徴点の撮影画像における画面位置から、撮影対象物２の特徴点の三次元位置座標を求める。三次元位置測定部７は、特徴点抽出部６１で抽出された特徴点について、ステレオ画像で対応点を求める対応点探索部７１、対応点探索部７１で求められた対応点に基づいて、撮影部３におけるカメラの位置と傾きを求める標定を行なう標定部７２、標定部７２で求められたカメラの位置と傾きを用いて特徴点の三次元位置座標を求める三次元座標演算部７３を有する。
【００３５】
三次元計測では、通常、２枚以上の撮影画像における重複部分の特徴点を用いて、対応点探索、相互標定を行い、測定対象物２の特徴点の三次元座標を求める。本実施例では撮影画像とライブ画像をステレオ画像（一方を基準画像、他方を探索画像とする）とし、撮影画像とライブ画像に重複する特徴点を用いて、対応点探索、相互標定を行い、測定対象物２の特徴点の三次元座標を求める。ステレオ画像選択部７０にてステレオ画像を選択する。ステレオ画像の選択は、探索画像を撮影部３の現在位置におけるライブ画像とし、基準画像とする撮影画像を既撮影画像から選択する。例えば最後に撮影した撮影画像を選択する。また、ライブ画像との重複領域が最も大きい既撮影画像を選択しても良く、新たな撮影画像との共有特徴点数が最も多い既撮影画像を選択しても良い。対応点探索部７１にて特徴点の対応付け（対応点探索）を行なう。例えば、相互相関処理により対応点探索を行なう。
【００３６】
［相互相関処理］
相互相関係数による方法
【数１】
2010256252.tif 000003
【００３７】
図２は対応点探索を説明するための図である。図２に示すようにＮ１×Ｎ１画素のテンプレート画像を、それより大きいＭ１×Ｍ１画素の入力画像内の探索範囲（Ｍ１−Ｎ１＋１）２上で動かし、上式のＣ（ａ，ｂ）が最大になるようなテンプレート画像の左上位置を求めて、テンプレート画像に対し探索されたとみなす。左右画像の場合には、例えば左画像上にＮ１×Ｎ１画素のテンプレート画像を設定し、右画像上にＭ１×Ｍ１画素の探索領域を設定し、この操作を各画像上での位置について行えばよい。
ここでは、対応点探索に関し、正規化相互相関処理について説明したが、他の手法、例えば、残差逐次検定法（ＳＳＤＡ）などを用いてもよい。
【００３８】
図３に特徴点及び対応点の例を示す。図３（ａ）は左画像から抽出された特徴点、図３（ｂ）は右画像から抽出された特徴点、図３（ｃ）は対応付けされた特徴点を示す。左画像と右画像はステレオペアを構成し、左右に僅かにずれた位置で撮影されている。左画像及び右画像において、測定対象物２としての自動車に付された多数の点の位置が特徴点として抽出された点の位置である。対応点探索によりこれらの特徴点の大部分が対応付けられ、図３（ｃ）において三次元座標空間（ここでは透視図を使用）に表示されている。これらの特徴点には特徴点番号が付され、三次元位置座標及び左右画像における位置座標が特徴点位置関係記憶部５５に記憶される。
【００３９】
［外部標定要素の算出：相互標定］
次に、左右画像の対応付けられた点から、相互標定法によってカメラの位置、傾きを求める方法について説明する。相互標定は標定部７２にて行なう。
モデル画像とは、２枚以上の撮影画像から被写体が撮影されたときの状態に再現されたとき得られる立体像のことをいう。相対的に相似なモデル画像を形成することを、相互標定という。すなわち、相互標定とは、撮影画像の対応する２本の光束が交会するように、左右それぞれのカメラの投影中心の位置および傾きを定めるものである。
【００４０】
図４は相互標定を説明するための図である。次に，各モデル画像の標定計算の詳細について説明する。この計算により、左右それぞれのカメラの位置（三次元座標と三軸の傾き）が求められる。
以下の共面条件式によりこれらのカメラの位置に係るパラメータを求める。
【数２】
2010256252.tif 000004
【００４１】
モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要ない。
【００４２】
このような条件にすると、（式１）の共面条件式は（式２）のようになり、この式を解けば各パラメータが求まる。
【数３】
2010256252.tif 000005
【００４３】
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式（式３）、（式４）が成り立つ。
【数４】
2010256252.tif 000006
【００４４】
これらの式を用いて、次の手順により、未知パラメータを求める。
（ａ）未知パラメータの初期近似値は通常０とする。
（ｂ）共面条件式（式２）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を（式３）、（式４）により求め、観測方程式をたてる。
（ｃ）最小二乗法をあてはめ、近似値に対する補正量を求める。
（ｄ）近似値を補正する。
（ｅ）補正された近似値を用いて、（ｂ）〜（ｅ）までの操作を収束するまで繰り返す。
未知パラメータ（κ１，φ１，κ２，φ２，ω２）を求めることにより、カメラの位置と傾きが求まる。
相互標定法によってカメラの位置が求まれば、ステレオ法によって対象空間点上の三次元座標、すなわち特徴点の三次元座標を求めることが可能となる。
【００４５】
〔ステレオ法〕
図５はステレオ法を説明するための図である。
簡単のために、同じカメラを２台（Ｃ１，Ｃ２）使用し、それぞれの光軸は平行でカメラレンズの主点からＣＣＤ面までの距離ｃが等しく、ＣＣＤは光軸に直角に置かれているものとする。２つの光軸間距離（基線長）をＢとする。
物体上の点Ｐ（ｘ、ｙ、ｚ）とカメラＣ１の撮影画面上の点Ｐ１（ｘ１、ｙ１）、カメラＣ２の撮影画面（本実施例ではライブ画像の画面）上の点Ｐ２（ｘ２、ｙ２）の座標の間には、以下のような関係がある。
ｘ１＝ｃｘ／ｚ            −−−（式５）
ｙ１＝ｙ２＝ｃｙ／ｚ      −−−（式６）
ｘ２−ｘ１＝ｃＢ／ｚ      −−−（式７）
但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラＣ１のレンズ主点にとるものとする。
【００４６】
（式７）よりｚを求め、これを用いて（式５）、（式６）よりｘ、ｙが求められる。
求められた特徴点の位置座標を撮影範囲画像にマッピングできれば、マッピングされた特徴点から撮影領域を囲む３以上の特徴点を選択して結線することにより、撮影範囲画像を区画し、撮影範囲画像をワイヤフレーム画像として形成することができる。
【００４７】
また、各特徴点の三次元座標が求まれば、三次元モデル画像、オルソ画像、全周囲画像を形成できる。求められた三次元座標から撮影範囲画像空間に特徴点を配置し構築すれば三次元モデル画像、平面図に並行投影にて投影すればオルソ画像、中心投影のまま平面上に各モデル画像を投影し連続的に配列していけば全周囲画像となる。すなわち、撮影範囲画像を三次元モデル画像、オルソ画像、全周囲画像で表現できる。また、テクスチャ画像、ワイヤフレーム画像等で表現できる。また、三次元モデル画像は透視図や投影図等で任意の方向から表現できる。また、三次元座標を用いることにより撮影範囲画像の精度を向上できる。
【００４８】
［画像処理部］
図１に戻り、画像処理部８は、撮影画像及びライブ画像について、測定対象物２の領域を３以上の特徴点で囲まれた領域（当該特徴点を含む）からなる撮影領域に区分して撮影領域番号を付与する撮影領域区分部８１、各特徴点について、異なる撮影画像及びライブ画像に含まれる撮影回数を計数する特徴点撮影回数計数部８２、各撮影領域について、異なる撮影画像及びライブ画像に含まれる撮影回数を計数する領域撮影回数計数部８３、測定対象物２と背景の境界を抽出する測定対象物境界抽出部８４、三次元位置測定部７で位置座標が測定された特徴点を撮影範囲画像に書き込み、撮影範囲画像の座標空間に書き込まれた特徴点のうち、撮影領域を囲む３以上の特徴点を結線して撮影領域毎に区画し、撮影範囲画像をワイヤフレーム画像として形成する撮影範囲画像形成部８５と、撮影範囲画像に撮影不足領域が有るか否かを判定する撮影不足領域判定部８６と、撮影不足領域判定部８６の判定結果を表示部４に表示させる撮影不足情報報知部８７を有する。
【００４９】
撮影範囲画像とは、測定対象物２の撮影範囲を三次元空間に表現する画像である。撮影範囲画像は、最初は座標空間だけであるが、撮影範囲画像形成部８５により各特徴点が書き込まれ、撮影領域を囲む３以上の特徴点を結線して撮影領域毎に区画されることによりワイヤフレーム画像として形成され、必要に応じて、区画された撮影領域に撮影画像を当てはめる（貼り付ける）ことによりテクスチャ画像として形成される。また、撮影が進むにつれて、特徴点、撮影領域が追加され、ワイヤフレーム画像やテクスチャ画像として表現される範囲が増加していく。今、第１番目の撮影画像を取得し、この既撮影画像と現在位置でのライブ画像をステレオ画像として形成された撮影範囲画像が現在位置でのライブ画像と共に表示部４に表示されているとする。撮影者が、現在位置でのライブ画像を撮影画像として取得した時点で、このライブ画像は既撮影画像（第２番目の撮影画像）として撮影画像記憶部５１に記憶される。また、撮影範囲画像は既撮影範囲画像として撮影範囲画像記憶部５８に記憶される。そして、撮影者が移動し、例えば入力部４Ａから「Ａ」を入力することにより、第２番目の撮影画像と新たなライブ画像をステレオ画像として形成された新たな撮影範囲画像（現撮影範囲画像）が新たなライブ画像と共に表示部４に表示される。撮影範囲画像として、現撮影範囲画像が表示されるが、これに既撮影範囲画像を合せて表示すると撮影の進捗状況を把握し易くなるので好ましい。さらに、現撮影範囲画像と既撮影範囲画像を色彩等により区別して表示すると、より撮影の進捗状況を把握し易くなるのでより好ましい。そして、撮影者が、ライブ画像を撮影画像として取得した時点で、このライブ画像は既撮影画像（第３番目の撮影画像）として撮影画像記憶部５１に記憶される。また、撮影範囲画像は既撮影範囲画像として撮影範囲画像記憶部５８に記憶される。そして、撮影者が移動し、例えば入力部４Ａから「Ａ」を入力することにより、第３番目の撮影画像と新たなライブ画像をステレオ画像として形成された新たな撮影範囲画像（現撮影範囲画像）が新たなライブ画像と共に表示部４に表示される。このように、現撮影範囲画像と既撮影範囲画像を合せて表示すると、撮影が進むにつれて、特徴点、撮影領域が追加され、撮影範囲画像に表示される測定対象物の領域が増加していく。
【００５０】
撮影領域区分部８１は、撮影画像及びライブ画像において、測定対象物２の領域を撮影領域に区分する。３以上の特徴点を頂点とする多角形で測定対象物２の領域を多数の領域に区分することができる。ライブ画像については、ステレオ画像として用いられる編集用メモリに取り込まれたライブ画像について撮影領域に区分すれば良い。本実施例では、撮影領域の重複状況を把握するのが目標なので、撮影画像の範囲に応じた大きさの撮影領域に区分するのが好ましい。撮影領域を細かく多数にすると画像処理に時間がかかり、撮影領域をあまり大きくすると撮影画像又はライブ画像からはみだして撮影回数を計数できなくなるので、撮影画像又はライブ画像の範囲に応じて適切な大きさの撮影領域に区分するのが好ましい。例えば、ほぼ一平面内にあり焦点が合う範囲を、面積に応じて１〜４分割する等である。撮影領域を撮影画像内又はライブ画像内（実際に撮影された範囲）の特徴点に囲まれた最大の多角形領域としても良いが、この場合は他の撮影画像と一部重複することが見出されたら、重複部分と非重複部分で撮影回数に差異が生じるので、重複部分と非重複部分に分割していくことが好ましい。また、３つの特徴点に囲まれた小領域としても良いが、撮影領域数が多くなり、コンピュータの処理量が多くなるので、撮影回数が等しい複数の小領域を統合していくことが好ましい。撮影画像間の重複又は撮影画像とライブ画像との重複を見るためであれば、撮影画像全体又はライブ画像全体の１／２〜１／１０程度が好適、１／３〜１／５がより好適である。
【００５１】
対象物境界抽出部８４は撮影画像及びライブ画像における測定対象物２と背景の境界を抽出する。撮影画像及びライブ画像における測定対象物２と背景の境界については、境界及びその周辺からも特徴点が抽出される。これらの特徴点が測定対象物２と背景のどちらに属するかは、三次元計測された特徴点の座標の位置から判定可能である。すなわち、測定対象物２と背景との境界では三次元座標が断続的に変化する。このようにして測定対象物２と背景の境界を抽出することができる。なお、境界上の特徴点は通常は測定対象物２に属するので、これらの特徴点と測定対象物２側の特徴点を結線して撮影領域を形成できる。この場合、例えば自動車の屋根とボンネットとの距離差については、距離差が閾値内であり自動車と背景との境界ではないと判定しても良く、屋根とボンネットで別の撮影領域を形成することとし、焦点に近い一方を選択し、他方を再度撮影しても良い。また、測定対象物２と背景の色彩の差異からその境界を抽出することも可能である。例えば、対象物境界抽出部８４に測定対象物２の色彩を認識させておき、これらと異なる色彩の部分を背景と判定するようにする。なお、背景を白・黒等の特定の色彩にしておくと、測定対象物２と背景の色彩の差異を抽出するのに好適である。この場合、背景は無模様単色とするのが好ましい。
【００５２】
特徴点撮影回数計数部８２は、各特徴点について、異なる撮影画像に含まれる撮影回数を計数する。すなわち、撮影画像記憶部５１に記憶された各撮影画像から当該特徴点を抽出し、抽出できた回数を当該特徴点の撮影回数とする。計数された撮影回数は、当該特徴点の特徴点番号と対応付けて特徴点撮影回数記憶部５２に記憶する。撮影回数１回でも特徴点が抽出され、特徴点番号が付され、特徴点撮影回数記憶部５２に記憶される。特徴点撮影回数記憶部５２は、全ての特徴点について撮影回数を記憶する必要はなく、少なくとも、撮影領域を形成するに充分な数の特徴点を選択して記憶すれば良い。また、編集用メモリに取り込んだ現在位置におけるライブ画像に含まれる特徴点を加算して計数する。加算の結果、撮影回数が１回から２回に変化した特徴点が、ライブ画像の撮影により新たに撮影範囲画像に追加される特徴点、すなわち、現撮影範囲画像に含まれる特徴点である。
【００５３】
領域撮影回数計数部８３は、各撮影領域について、異なる撮影画像に含まれる撮影回数を計数する。すなわち、記憶部５に記憶された各撮影画像から当該撮影領域を囲む特徴点を抽出し、当該撮影領域を囲む全ての特徴点が抽出できた回数を当該撮影領域の撮影回数とする。これらの特徴点の１つでも欠けていれば、撮影領域全体が撮影されたことにならないので、計数されない。計数された撮影回数は、当該撮影領域を囲む特徴点の特徴点番号と対応付けて領域撮影回数記憶部５３に記憶する。撮影回数が１回でも撮影領域が抽出され、撮影領域番号が付され、領域撮影回数記憶部５３に記憶される。また、撮影画像における全ての撮影領域でカバーされる範囲が実際に撮影された範囲より狭くなり、これらの撮影領域外の部分が撮影されなかったとみなしても、確実に撮影された領域で撮影回数を計数していけば、重複を確実にする意味で安全サイドなので、必要な重複撮影を実行する上で問題はない。また、編集用メモリに取り込んだ現在位置におけるライブ画像に含まれる撮影領域を加算して計数する。加算の結果、撮影回数が１回から２回に変化した撮影領域が、ライブ画像の撮影により新たに撮影範囲画像に追加される撮影領域、すなわち、新重複撮影領域である。
【００５４】
撮影範囲画像形成部８５は、第１に、三次元位置測定部７で位置座標が測定された特徴点を撮影範囲画像の座標空間に書き込む。
【００５５】
図６に撮影対象物２である土器にマーク（カラーコードターゲット及びレトロターゲット）が貼付された撮影画像の例を示す。カラーコードターゲット（図２３参照）及びレトロターゲットについては実施例４で後述するが、ここでは、特徴点として使用することとする。
【００５６】
図７に撮影範囲画像の座標空間に書き込まれた特徴点の位置を示す。図７の特徴点の位置は図６のマークの位置を撮影範囲画像の座標空間に書き込んで表示したものである。撮影範囲画像の透視図の座標空間に特徴点の位置が正方形□で表示され、それぞれに対応する特徴点番号（１〜２４）が表示されている。
【００５７】
撮影範囲画像形成部８５は、第２に、撮影範囲画像の座標空間に書き込まれた特徴点のうち、撮影領域を囲む３以上の特徴点を結線して撮影領域毎に区画し、撮影範囲画像をワイヤフレーム画像として形成する。すなわち、撮影範囲画像に書き込まれた特徴点には特徴点番号が対応付けられている。従って、撮影領域を囲む３以上の特徴点について、これらと特徴点番号が一致する撮影範囲画像の特徴点の位置座標を結線することにより多角形が形成され、それが撮影範囲画像における当該撮影領域に該当することになる。このようにして、撮影画像において区分された全ての撮影領域（車底等の見えない部分を除く）について、その撮影領域を囲む３以上の特徴点について、撮影範囲画像における同じ特徴点符号が付された特徴点の位置座標を結線して区画することにより、撮影範囲画像をワイヤフレーム画像として形成することができる。
【００５８】
図８に撮影範囲画像における撮影領域の区画例を示す。透視図の座標空間に自動車の領域が複数の撮影領域に区分されている例である。これらの領域の多くは四角形であり、少なくとも３つの特徴点で囲まれた領域が１つの撮影領域として区分されている。
【００５９】
図９に撮影範囲画像における撮影領域を撮影回数で区別した例を示す。撮影範囲画像をワイヤフレーム画像として形成している。透視図の座標空間に自動車の領域が複数の撮影領域に区分され、色分け表示されている例である。色分け（図では模様別）表示された領域が重複撮影領域、白色で表示された領域がライブ画像を撮影画像として取得することにより重複撮影領域となる新重複撮影領域、黒色で表示された領域が未重複撮影領域である。このように、撮影領域を色分けすることにより、撮影不足領域をビジュアルに把握でき、撮影の効率化が促進される。また、撮影範囲画像についてみれば、新重複撮影領域が現撮影範囲画像に該当する部分であり、新重複撮影領域及び未重複撮影領域を除いた部分が既撮影範囲画像に該当する部分である。なお、重複して撮影されなければ、特徴点の三次元座標は定まらないので撮影範囲画像には未重複撮影領域は表示されない。ただし、予め撮影領域とこれを囲む３以上の特徴点の位置を予測しておき、撮影範囲画像にこの予測値を入力しておけば、未重複撮影領域を表示することが可能である。特徴点の三次元座標が測定された場合には予測値を測定値に置換する。この撮影範囲画像はかような場合の例である。
【００６０】
図１０に撮影範囲画像に撮影領域が順次追加されていく例を示す。測定対象物２は自動車であり、撮影範囲画像は透視図でワイヤフレーム画像として示されている。撮影部３が新たな撮影画像を取得する都度、撮影範囲画像形成部８５は新たな撮影範囲画像を形成し、表示部４は新たに形成された撮影範囲画像を表示する。このため、撮影が行なわれる度に、新たな撮影領域が形成され、撮影範囲画像に新たな撮影領域が追加されていく。撮影の進捗につれて、撮影範囲画像に撮影領域が順次追加されている。図１０（ａ）では撮影領域Ｑ１が新重複撮影領域として形成され、図１０（ｂ）では撮影領域Ｑ２が新重複撮影領域として追加され、図１０（ｃ）では撮影領域Ｑ３新重複撮影領域として追加され、図１０（ｄ）では撮影領域Ｑ４が新重複撮影領域として追加されている。
【００６１】
図１１に撮影範囲画像の完成例を示す。図１０（ｄ）の後に、更に幾つかの撮影領域（Ｑ５等）が新重複撮影領域として追加されて、撮影範囲画像が完成したものである。測定対象物２は自動車であり、撮影範囲画像は透視図でワイヤフレーム画像として示されている。このように、撮影範囲画像に測定対象物２の全ての撮影領域が示されることによって、撮影が完了したことが解る。なお、一方向から見た撮影範囲画像だけでは反対側が見えないので撮影の完了を判断できないが、反対側からの画像も表示可能であり、これにより撮影の完了を判断できる。
【００６２】
図１２に撮影範囲画像に撮影画像を貼付表示した例を示す。撮影範囲画像は三次元モデル画像（テクスチャ画像）として示されている。透視図で表わされた撮影範囲画像の座標空間にワゴン車が表現され、区画された各撮影領域に撮影画像が当てはめ（貼り付け）られている。例えば、撮影領域画像記憶部５４に、撮影画像から撮影領域の画像を抽出して記憶しておき、撮影範囲画像形成部８５にて、撮影範囲画像の座標空間に三次元座標が測定された特徴点を書き込み、撮影領域画像記憶部５４から各撮影領域の画像を抽出し、撮影範囲画像に書き込まれた特徴点の位置に、撮影領域を囲む３以上の特徴点の位置が合致するように各撮影領域の画像を伸縮させて貼り付けることによって、テクスチュア画像としての撮影範囲画像を形成する。なお、ライブ画像と撮影画像とに重複する撮影領域は撮影画像にもあるので、撮影画像を当てはめる際にはライブ画像を使用しなくても良い。表現されていない部分は未重複撮影領域である。これにより、撮影範囲画像を実物ライクに表現でき、撮影の進捗状況をビジュアルに把握できる。
【００６３】
図１３に撮影範囲画像がオルソ画像である例を示す。図１３（ａ）は撮影画像、図１３（ｂ）はこれらの撮影画像に基づいて撮影範囲画像としてのオルソ画像を形成した例を示す。オルソ画像は、三次元位置測定部７で求められた三次元座標から撮影範囲画像空間に特徴点を配置し、平面図に並行投影して形成される。重複撮影領域が実物ライクに表現されている。撮影が行なわれる毎に撮影領域が追加されていく。
【００６４】
図１４に撮影範囲画像がワイヤフレーム画像である例を示す。撮影範囲画像としてのオルソ画像を撮影領域に区画し、各撮影領域を色分け（図では模様別）表示したものである。撮影が行なわれる毎に撮影領域が追加されていく。
【００６５】
図１５に撮影範囲画像が全周囲画像である例を示す。全周囲画像は、三次元位置測定部７で求められた三次元座標から撮影範囲画像空間に特徴点を配置し、周囲各方向から、中心投影（図１４での中心点は（１．５０，０．７５））のまま平面上に各モデル画像を投影し連続的に配列していくことにより形成される。図１５では、周囲７方向、高さ２方向からの画像を示す。全体（撮影が完了した状態）で、周囲１２方向、高さ２方向からの画像となる。
【００６６】
図１に戻り、撮影不足領域判定部８６は、撮影範囲画像に撮影不足領域が有るか否かを判定する。本実施例では、領域撮影回数計数部８３で計数された撮影回数に基づいて撮影範囲画像に撮影不足領域が有るか否かを判定する。撮影回数１回でも撮影領域は形成され、撮影領域番号が付与され、領域撮影回数記憶部５３に記憶される。撮影回数１回の領域があれば撮影不足領域が有ることとなる。また、重複させながら撮影していくので、未撮影領域があれば、必ず撮影回数１回の領域が存在する。したがって、未撮影領域が撮影範囲画像に表現されなくても、領域撮影回数計数部８３で計数された撮影回数に基づいて撮影範囲画像に撮影不足領域が有るか否かを判定できる。既撮影画像について撮影不足領域の有無を判定する場合には、ライブ画像の撮影領域は計数されない。ただし、ライブ画像が撮影画像として取得された場合の撮影不足領域の有無を判定したい場合には、ライブ画像の撮影領域も加算される。撮影不足領域が有るか否かの判定は、撮影の都度行なわれる。すなわち、撮影の都度、撮影範囲画像が新たに形成され、撮影不足領域が有るか否かの判定がされる。このように、本実施例では撮影不足領域判定部８６が撮影不足領域の有無を判定するが、撮影者が撮影範囲画像を見て判定することも可能である。
【００６７】
撮影不足領域報知部８７は、撮影不足領域判定部８６の判定結果を表示部４に表示させる。表示部４に表示された判定結果を見て、撮影者は撮影不足か否かを撮影の都度知ることができる。
【００６８】
制御部１０は、内臓メモリに制御プログラムを有し、三次元計測用画像撮影装置１及びこれを構成する各部を制御し、信号及びデータの流れを制御し、三次元計測用画像撮影装置としての機能を実行させる。
【００６９】
［処理フロー］
図１６に画像撮影の処理フロー例を示す。撮影部が新たな撮影画像を取得する都度、新たな撮影範囲画像を形成し、表示する例を説明する。
まず、撮影部３により、測定対象物２を撮影する（撮影工程：Ｓ１００）。撮影された静止画像である撮影画像は撮影画像記憶部５１に記憶される（撮影画像記憶工程：Ｓ１０５）。次に、撮影部３により現在位置でのライブ画像を取得し、表示部４によりライブ画像を表示する。取得されたライブ画像はライブ画像記憶部５０に一時的に記憶される（撮影画像記憶工程：Ｓ１１０）。ビデオカメラ又はデジタルカメラで撮影されたライブ画像は常時ライブ画像記憶部５０のテンポラリメモリに上書きされ、表示部４に転送される。撮影者が表示部４に表示されたライブ画像で撮影範囲画像を形成したい場合、例えば入力部４Ａから「Ａ」を入力することにより、ライブ画像記憶部５０において、その時点でのライブ画像を編集用メモリに取り込む。ステレオ画像選択部７０は、編集用メモリに取り込まれたライブ画像と、当該ライブ画像と重複する特徴点を抽出するための撮影画像を既撮影画像から選択し、ステレオ画像とする。例えば最後に撮影した撮影画像を選択する。また、ライブ画像との重複領域が最も大きい既撮影画像を選択しても良く、ライブ画像との共有特徴点数が最も多い既撮影画像を選択しても良い。また、探索画像を撮影部３の現在位置におけるライブ画像とし、基準画像とする撮影画像を既撮影画像から選択する。次に、特徴点を抽出する（特徴点抽出工程：Ｓ１２０）。すなわち、ステレオ画像として選択した撮影画像及びライブ画像から、特徴点抽出部６１にて特徴点を抽出する。次いで特徴点抽出工程（特徴点抽出工程：Ｓ１２０）で抽出された撮影画像及びライブ画像の特徴点について対応点探索部７１にて対応付けを行う（対応点探索工程：Ｓ１３０）。撮影画像及びライブ画像に重複する特徴点が対応付けされる。その際、既撮影画像を基準画像、ライブ画像を探索画像とする。次に、対応点探索部７１で対応付けされた各特徴点の三次元座標を算出する（三次元座標算出工程：Ｓ１４０）。標定部７２にて標定を行い、カメラの位置と傾きを求め、三次元位置演算部７３にて各特徴点の三次元座標を算出する。なお、測定対象物境界抽出部８４は、特徴点の三次元座標から測定対象物２と背景の境界を抽出する。次に、撮影範囲画像形成部８５にて撮影範囲画像を形成する（撮影範囲画像形成工程：Ｓ１５０）。
【００７０】
図１７に撮影範囲画像形成工程（Ｓ１５０）の処理フロー例を示す。まず、撮影領域区分部８１にて、撮影画像及びライブ画像における測定対象物２の領域を３以上のマークで囲まれた領域（当該特徴点を含む）からなる撮影領域に区分して、撮影領域番号を付与する（撮影領域区分工程：Ｓ２２０）。ライブ画像については、編集用メモリに取り込まれたライブ画像について撮影領域に区分すれば良い。撮影領域に区分された撮影画像は撮影領域画像記憶部５４に記憶される（撮影領域画像記憶工程：Ｓ２２５）。他方、特徴点撮影回数計数部８２にて、各特徴点について異なる撮影画像に含まれる撮影回数を計数する。また、編集用メモリに取り込んだ現在位置におけるライブ画像に含まれる特徴点を加算して計数する。特徴点撮影回数記憶部５２には、撮影画像に含まれる特徴点の撮影回数とライブ画像に含まれる特徴点を加算した場合の撮影回数を別に記憶する。そして、領域撮影回数計数部８３にて、各撮影領域について異なる撮影画像に含まれる撮影回数を計数する（領域撮影回数計数工程：Ｓ２３０）。例えば、各撮影領域を囲む全ての特徴点が撮影されている場合に当該撮影領域が撮影されているとして撮影回数を計数する。これらの特徴点の１つでも撮影されていなければ撮影領域全体が撮影されたことにならないので撮影回数として計数されない。また、編集用メモリに取り込んだ現在位置におけるライブ画像に含まれる撮影領域を加算して計数する。加算の結果、撮影回数が１回から２回に変化した撮影領域が、ライブ画像の撮影により新たに撮影範囲画像に追加される新重複撮影領域である。そして、領域撮影回数記憶部５３にて、計数された各撮影領域の撮影回数を、当該撮影領域を囲む特徴点の特徴点番号と対応付けて記憶する（領域撮影回数記憶工程：Ｓ２３５）。この場合、領域撮影回数記憶部５３には、撮影画像に含まれる撮影領域の撮影回数とライブ画像に含まれる撮影領域を加算した場合の撮影回数を別に記憶する。
【００７１】
次に、撮影範囲画像形成部８５にて、測定対象物２の撮影範囲を三次元空間に表現する撮影範囲画像の座標空間に三次元位置測定部７で求められた各特徴点を書き込み、撮影範囲画像の座標空間に書き込まれた特徴点のうち、撮影領域を囲む３以上の特徴点を結線して撮影領域毎に区画し、撮影範囲画像をワイヤフレーム画像として形成する（撮影範囲画像形成工程：Ｓ２４０）。すなわち、撮影領域区分部８１で区分された撮影領域を囲む３以上の特徴点には特徴点番号が対応付けられており、これらと特徴点番号が一致する撮影範囲画像に書き込まれた特徴点を結線することにより多角形が形成され、それが撮影範囲画像における当該撮影領域に該当することになる。次に、撮影範囲画像における撮影領域を色分けする又は撮影領域に撮影画像を貼り付ける（Ｓ２５０）。撮影領域を色分けする場合、これらの撮影領域は典型的には重複撮影領域であり、重複撮影領域が撮影領域毎に色分けされる。これにより、重複撮影領域と未重複撮影領域を大別することができる。また、撮影回数が１回から２回に変化した撮影領域を新重複撮影領域として区別することができる。なお、予め撮影領域とこれを囲む３以上の特徴点の位置を予測しておき、撮影範囲画像にこの予測値を入力しておけば、未重複撮影領域を表現することも可能である。また、撮影領域に撮影画像を貼り付ける場合、撮影領域画像記憶部５４から各撮影領域の画像を抽出し、撮影範囲画像に区画された撮影領域に、撮影領域を囲む３以上の特徴点の位置が合致するように各撮影領域の画像を伸縮させて当てはめる（貼り付ける）。これにより、撮影範囲画像が三次元モデル画像（テクスチュア画像）として形成され、撮影範囲画像を実物ライクに表現でき、撮影の進捗状況をビジュアルに把握できる。なお、ライブ画像と撮影画像とに重複する撮影領域は撮影画像にもあるので、撮影画像を当てはめる際にはライブ画像を使用しなくても良い。また、撮影範囲画像から、並行投影によりオルソ画像を、中心投影により全周囲画像を形成しても良い。
【００７２】
ここで図１６に戻る。表示部４にて、撮影範囲画像形成部８５にて形成された撮影範囲画像を表示する（表示工程：Ｓ１６０）。撮影領域を色分け表示すること、又は、撮影領域に撮影画像を貼り付けた撮影範囲画像を表示することにより、撮影の進捗状況をビジュアルに把握できる。次に、撮影不足領域判定部８６にて、撮影範囲画像に撮影不足領域が有るか否かを判定する（撮影不足領域判定工程：Ｓ１７０）。本実施例では、領域撮影回数計数部で計数された撮影回数に基づいて撮影範囲画像に撮影不足領域が有るか否かを判定する。そして、撮影不足領域報知部８７にて、撮影不足領域判定部８６の判定結果を表示部４に表示させる。撮影不足領域が有るか否かの判定は、撮影の都度行なわれる。すなわち、撮影の都度、撮影範囲画像が新たに形成され、撮影不足領域が有るか否かの判定がされる。既撮影画像について撮影不足領域の有無を判定する場合には、ライブ画像の撮影領域は計数されない。ただし、ライブ画像が撮影画像として取得された場合の撮影不足領域の有無を判定したい場合には、ライブ画像の撮影領域も加算される。撮影不足領域が有ると判定された場合には、撮影工程（Ｓ１００）に戻り、撮影工程（Ｓ１００）〜撮影不足領域判定工程（Ｓ１７０）の処理が繰り返される。撮影不足領域が無いと判定された場合には、画像撮影の処理フローが終了する。
【００７３】
撮影者が、現在位置でのライブ画像を撮影画像として取得した時点で、このライブ画像は既撮影画像として撮影画像記憶部５１に記憶される。また、撮影範囲画像は既撮影範囲画像として撮影範囲画像記憶部５８に記憶される。そして、撮影者が移動し、例えば入力部４Ａから「Ａ」を入力することにより、例えば最新の撮影画像と新たなライブ画像をステレオ画像として、撮影範囲画像形成工程（Ｓ２４０）において新たな撮影範囲画像（現撮影範囲画像）が形成され、新たなライブ画像と共に表示部４に表示される。撮影範囲画像として、現撮影範囲画像が表示されるが、これに既撮影範囲画像を合せて表示すると撮影の進捗状況を把握し易くなるので好ましい。さらに、現撮影範囲画像と既撮影範囲画像を色彩等により区別して表示すると、より撮影の進捗状況を把握し易くなるのでより好ましい。
【００７４】
本実施例によれば、単カメラを用いて移動しながら撮影を行う場合に、撮影範囲画像を用いて撮影範囲を視覚的に明示するので、次に撮影する撮影の重複状況及び撮影の進捗状況を把握でき、撮影を過不足なく効率的に行なえる三次元計測用画像撮影装置を提供できる。
【実施例２】
【００７５】
実施例１では、撮影の都度、新たな撮影範囲画像を形成し、表示する例を説明したが、実施例２では、所定回数撮影後にまとめて特徴点抽出、三次元座標演算、撮影範囲画像の形成を行い、表示し、撮影不足領域があればさらに撮影を行なう例を説明する。
【００７６】
図１８に実施例２に係る三次元計測用画像撮影装置１Ａの構成例をブロック図で示す。実施例１の三次元計測用画像撮影装置の構成（図１参照）に撮影回数判定部３１が追加される。撮影回数判定部３１はＰＣ１５内に設けられ、図示しない撮影回数カウンタを有し、撮影回数カウンタで取得された撮影画像数を計数し、予定撮影回数に達したか否かを判定する。撮影回数カウンタには入力部４Ａから予定撮影回数を設定できる。また、撮影回数カウンタが予定撮影回数に達した場合には、リセット信号を出力し、予定撮影回数をリセットすると共に、特徴抽出部６にリセット信号を送信する。また、表示部４に予定撮影回数に達した旨の表示がされ、撮影者は新たな撮影範囲画像が表示される迄撮影を行なわずに待機する。
【００７７】
図１９に実施例２における画像撮影の処理フロー例を示す。実施例１における図１６のライブ画像記憶工程（Ｓ１１０）と特徴点抽出工程（Ｓ１２０）の間に撮影回数判定工程（Ｓ１１５）が挿入される。撮影回数の判定は撮影回数カウンタからのリセット信号の出力の有無により行なわれる。特徴抽出部６ではリセット信号を受信すると、予定撮影回数に相当する枚数の撮影画像から特徴点の抽出を開始する。そして、特徴点抽出工程（Ｓ１２０）〜表示工程（Ｓ１６０）が行なわれる。対応点探索工程（Ｓ１３０）ではステレオ画像が選択される。例えば撮影の順序に添って、ｉ番目とｉ−１番目（ｉ≧２）の撮影画像をステレオ画像とする等である。また、ｉ番目の撮影画像との重複領域が最も大きい１〜ｉ−１番目のいずれかの撮影画像とｉ番目の撮影画像をステレオ画像としても良く、ｉ番目の撮影画像との共有特徴点数が最も多い１〜ｉ−１番目のいずれかの撮影画像とｉ番目の撮影画像をステレオ画像としても良い。最後のステレオ画像の選択は、探索画像を撮影部３の現在位置におけるライブ画像とし、基準画像とする撮影画像を既撮影画像から選択する。例えば直前の撮影工程（Ｓ１００）で撮影された撮影画像を選択する等である。また、ライブ画像との重複領域が最も大きい既撮影画像を選択しても良く、ライブ画像との共有特徴点数が最も多い既撮影画像を選択しても良い。
【００７８】
実施例１の場合には１枚毎に進捗状況を把握できるので、確実性が高いが、実施例２では処理をまとめてできるので画像撮影処理全体の処理時間を短縮できる。その他の構成及び処理フローは実施例１と同様であり、実施例１と同様に、次に撮影する撮影の重複状況及び撮影の進捗状況を把握でき、撮影を過不足なく効率的に行なえる三次元計測用画像撮影装置を提供できる。
【実施例３】
【００７９】
実施例１及び実施例２では、特徴点の三次元座標を求め、撮影画像を撮影領域に区分して、撮影範囲画像を作成する例を説明したが、実施例３では、撮影領域に区分せずに、撮影画像から座標変換して撮影範囲画像を形成する例を説明する。また、撮影不足領域の有無の判定は、測定対象物を模擬した模擬対象物の撮影範囲画像を記憶し、測定対象物の撮影範囲画像と模擬対象物の撮影範囲画像を比較することにより行なう例を説明する。
【００８０】
図２０に実施例３に係る三次元計測用画像撮影装置１Ｂの構成例をブロック図で示す。実施例１の構成（図１参照）に比して、記憶部５では、特徴点位置関係記憶部５５、見本画像記憶部５６が追加され、特徴点撮影回数記憶部５２、領域撮影回数記憶部５３、撮影領域画像記憶部５４が削除されている。また、画像処理部８では、画像座標変換部８８が追加され、撮影領域区分部８１、特徴点撮影回数計数部８２、領域撮影回数計数部８３が削除されている。特徴点位置関係記憶部５５は、特徴抽出部６で抽出された撮影画像とライブ画像に重複する特徴点について、特徴点番号を付し、三次元位置測定部７で求められた三次元座標と各撮影画像における画面上の位置とを対応付けて記憶する。ライブ画像と撮影画像とに重複する特徴点は撮影画像にもあるので、特徴点位置関係記憶部５５にはライブ画像における画面上の位置を記憶しなくても良い。見本画像記憶部５６は、測定対象物２に類似する模擬対象物についての撮影範囲画像を記憶する。模擬対象物とは、測定対象物に似た対象物又は対象物の模型をいう。形状が似ているほど好ましい。ただし、同じ型式の対象物や同一の対象物で、ボケた部分や異物混入部分を修正したい、より高画質の撮影画像を得たい、条件を変えて撮影したい等の場合もあるので、模擬対象物は同じ型式の対象物や測定対象物自体を含むものとする。本実施例では、模擬対象物についての撮影範囲画像は、撮影不足領域判定部８６において測定対象物に係る撮影範囲画像を模擬対象物に係る撮影範囲画像と比較することにより、撮影不足領域が有るか否かを判定するために用いられる。典型的には、模擬対象物についての特徴点の位置が三次元測定され、これらの特徴点を用いて撮影不足領域のない撮影範囲画像が形成されている。ただし、予め撮影領域とこれを囲む特徴点の位置を予測しておき、この予測値を用いて作成した撮影不足領域のない撮影範囲画像を記憶し、これを用いて比較しても良い。
【００８１】
また、画像座標変換部８８はアフィン変換やヘルマート変換等の座標変換を行う。撮影範囲画像形成部５は、特徴点位置関係記憶部５５に記憶された各特徴点の位置データ（三次元測定値、撮影画像の画面上の位置座標）に基づいて、撮影画像記憶部５１に記憶された撮影画像を、当該撮影画像の各特徴点の位置が三次元計測された撮影範囲画像における各特徴点の位置に合致するように、撮影範囲画像に座標変換して当てはめる。これによりテクスチャ画像としての撮影範囲画像が形成される。ライブ画像と撮影画像とに重複する特徴点は撮影画像にもあるので、ライブ画像を座標変換に使用しなくても良い。座標変換には、画像座標変換部８８を用いて、アフィン変換やヘルマート変換を使用して行なう。なお、図２０には撮影回数判定部３１が記載されているが、これは、実施例２のように撮影画像を所定枚数取得した後に撮影範囲画像を形成することも可能にするためである（省略しても良い）。
【００８２】
図２１に実施例３における撮影範囲画像形成の処理フロー例を示す。実施例１における処理フロー（図１７参照）に比して、撮影範囲画像形成工程が異なる。この工程をＳ１５０Ａで示す。まず、特徴点位置関係記憶部５５にて、特徴抽出部６で抽出された撮影画像とライブ画像に重複する特徴点について、特徴点番号を付し、三次元位置測定部７で求められた三次元座標と各撮影画像における画面上の位置とを対応付けて記憶する（特徴点位置関係記憶工程：Ｓ２１５）。測定対象物境界抽出部８４は例えば各特徴点の三次元座標から測定対象物と背景との境界を抽出する。次に、撮影範囲画像形成部８５において、座標変換により撮影範囲画像を形成する（撮影範囲画像形成工程：Ｓ２５０Ａ）。すなわち、測定対象物の撮影範囲を三次元空間に表現する撮影範囲画像の座標空間に、三次元位置測定工程（Ｓ１４０）で三次元座標が求められた各特徴点の位置を書き込み、特徴点位置関係記憶部５５に記憶された各特徴点の位置データ（三次元測定値、撮影画像の画面上の位置座標）に基づいて、撮影画像記憶部５１に記憶された撮影画像を、当該撮影画像の各特徴点の位置が撮影範囲画像に書き込まれた各特徴点の位置に合致するように、撮影範囲画像に座標変換して当てはめることにより、撮影範囲画像をテクスチャ画像として形成する。また、撮影不足領域判定工程（Ｓ１７０）では、撮影不足領域判定部８６において、測定対象物２に係る撮影範囲画像を模擬対象物に係る撮影範囲画像と比較することにより、撮影不足領域が有るか否かを判定する。すなわち、測定対象物２に類似する模擬対象物についての撮影範囲画像を予め見本画像記憶部５６に記憶しておき、撮影不足領域判定部８６は、測定対象物に係る撮影範囲画像を模擬対象物に係る撮影範囲画像と比較して、撮影不足領域が有るか否かを判定する。
【００８３】
また、撮影者が、現在位置でのライブ画像を撮影画像として取得した時点で、このライブ画像は既撮影画像として撮影画像記憶部５１に記憶される。また、撮影範囲画像は既撮影範囲画像として撮影範囲画像記憶部５８に記憶される。そして、撮影者が移動し、例えば入力部４Ａから「Ａ」を入力することにより、最新の撮影画像と新たなライブ画像をステレオ画像として形成された現撮影範囲画像が新たなライブ画像と共に表示部４に表示される。撮影範囲画像として、現撮影範囲画像が表示されるが、これに既撮影範囲画像を合せて表示すると撮影の進捗状況を把握し易くなるので好ましい。さらに、現撮影範囲画像と既撮影範囲画像を色彩等により区別して表示すると、より撮影の進捗状況を把握し易くなるのでより好ましい。
【００８４】
実施例１に比して撮影領域に区分する処理、撮影画像を貼り付ける処理に代えて座標変換を行っているが、撮影領域を囲む３以上の特徴点と同じ特徴点を用いて座標変換するのであれば、ほぼ同様な撮影範囲画像を得ることができる。変換に用いる特徴点を選択すれば、撮影領域に区分しないのでテクスチャ画像を座標変換により直接得られるが、撮影領域毎に区画し、色分けした撮影範囲画像を表示することはできない。その他の構成及び処理フローは第１の実施の形態と同様であり、実施例１と同様に、次に撮影する撮影の重複状況及び撮影の進捗状況を把握でき、撮影を過不足なく効率的に行なえる三次元計測用画像撮影装置を提供できる。
【実施例４】
【００８５】
以上の実施例では、測定対象物の特徴点を抽出して、三次元座標を求める例を説明したが、実施例４では、測定対象物に自他識別可能な識別コードを有するカラーコードターゲットを貼付けて特徴点として使用する例を説明する。
【００８６】
図２２に、実施例４に係る三次元計測用画像撮影装置１Ｃの構成例をブロック図で示す。実施例１の構成（図１参照）に比して、特徴抽出部６に、マーク抽出部６２とコード識別部６３が追加されている。マーク抽出部６２は、撮影画像からカラーコードターゲットやレトロターゲット等のマークを特徴点として抽出する。コード識別部６３は、マーク抽出部７１で抽出されたマークの識別コードを識別し、識別コードをマークに付与される特徴点番号と対応付ける。また、三次元位置測定部７は、マーク抽出部６２で抽出されたマークを特徴点として、他の特徴点と同様にマークの位置の三次元座標を求める。なお、実施例２のように撮影画像を所定枚数取得した後に撮影範囲画像を形成することが可能なように、撮影回数判定部３１が追加され、実施例３のように座標変換が可能なように、記憶部５に、特徴点位置関係記憶部５５、見本画像記憶部５６が追加され、画像処理部８に、画像座標変換部８８が追加されている（これらは省略しても良い）。
【００８７】
［カラーコードターゲット］
図２３にカラーコードターゲットＣＴの例を示す。図２３（ａ）はカラーコードの単位領域が３個、図２３（ｂ）は６個、図２３（ｃ）は９個のカラーコードターゲットである。図２３（ａ）〜（ｃ）のカラーコードターゲットＣＴ（ＣＴ１〜ＣＴ３）は、位置検出用パターン（レトロターゲット部）Ｐ１、基準色パターン（基準色部）Ｐ２、カラーコードパターン（カラーコード部）Ｐ３、空パターン（白色部）Ｐ４で構成されている。
【００８８】
レトロターゲット部Ｐ１は、ターゲット自体の検出用、その重心検出用、ターゲットの向き検出用、ターゲット領域検出用として使用する。
【００８９】
基準色部Ｐ２は、照明やカメラ等の撮影条件による色のずれに対応するために、相対比較時の参照用、色ずれを補正するためのカラーキャリブレーション用として使用する。さらに、基準色部Ｐ２は、簡易な方法で作成されたカラーコードターゲットＣＴの色彩補正用として使用できる。例えば、色管理がなされていないカラープリンター（インクジェット・レーザー・昇華型等のプリンタ）で印刷したカラーコードターゲットＣＴを使用する場合は、使用プリンタ等で色彩に個体差が出るが、基準色部Ｐ２とカラーコード部Ｐ３の色を相対比較し補正することで、個体差の影響を押さえることができる。
【００９０】
カラーコード部Ｐ３は、その各単位領域への配色の組み合わせによってコードを表現する。コードに使用するコード色の数により表現可能なコード数が変化する。例えば、コード色数がｎの場合、ｎ×ｎ×ｎ通りのコードを表せる。信頼度を上げるため、他の単位領域に使用されている色を重複して使用しないという条件を課した場合でも、ｎ×（ｎ−１）×（ｎ−２）通りのコードを表せる。そして、コード色数を増やせばコード数を増加できる。さらに、カラーコード部Ｐ３の単位領域の数とコード色数を等しくするという条件を課すと、全てのコード色がカラーコード部Ｐ３に使用されるため、基準色部Ｐ２との比較のみで無く、カラーコード部Ｐ３の各単位領域間で色を相対比較することにより、各単位領域の色彩を確認して識別コードを決定することができ、信頼性を上げることができる。さらに、各単位領域の面積を全て同じにする条件を追加すると、カラーコードターゲットＣＴを画像中から検出する際にも使用できる。これは、異なる識別コードをもつカラーコードターゲットＣＴ間でも各色の占有する面積が同じになるため、カラーコード部全体からの検出光からはほぼ同様な分散値が得られるからである。また、単位領域間の境界は等間隔に繰り返され、明確な色彩差が検出されるので、このような検出光の繰り返しパターンからもターゲットＣＴを画像中から検出することが可能である。
【００９１】
白色部Ｐ４は、カラーコードターゲットＣＴの向き検出用と色ずれのキャリブレーション用として使用する。ターゲットＣＴの四隅の内、一カ所だけレトロターゲットが配置されない箇所があり、これをターゲットＣＴの向き検出用に使用できる。このように白色部Ｐ４はレトロターゲットと異なるパターンであれば良い。したがって、白色部には目視でコードを確認するための番号などの文字列を印刷しても良く、また、バーコード等のコード領域としても使用しても良い。さらに、検出精度を上げるために、テンプレートマッチング用のテンプレートパターンとして使用することも可能である。
【００９２】
マーク抽出部６２は、撮影部３で取得された複数の撮影画像におけるマークを特徴点として抽出する。本実施例では測定対象物である自動車や土器に自他識別可能な識別コードを有するマークとしてのカラーコードターゲットが貼り付けられており、カラーコードターゲットを特徴点として使用できる。
【００９３】
コード識別部６３はカラーコードターゲットＣＴの識別コードを識別する。パターン配置とコード番号の対応関係を記録するカラーコードターゲット対応表を用いて、カラーコードターゲットＣＴのカラーコード部Ｐ３における色彩の配列から識別コードを判別し、カラーコードターゲットＣＴに番号を付与する。
【００９４】
カラーコードターゲットＣＴの位置はレトロターゲットＰ１を検出することにより求められる。カラーコードターゲットＣＴ以外にレトロターゲットが貼付される場合、カラーコードターゲットＣＴに代えてレトロターゲットが貼付される場合も、マークの位置はレトロターゲットを検出することにより求められる。
【００９５】
図２４はレトロターゲットを用いた重心位置検出の説明図である。本実施例ではレトロターゲットは２つの同心円で形成されている。図２４（Ａ１）は同心円のうち小円の内側である内円部２０４の明度が明るく、小円と大円との間に形成された円環状の部分である外円部２０６の明度が暗いレトロターゲット２００、図２４（Ａ２）は（Ａ１）のレトロターゲット２００の直径方向の明度分布図、図２４（Ｂ１）は内円部２０４の明度が暗く、外円部２０６の明度が明るいレトロターゲット２００、図２４（Ｂ２）は（Ｂ１）のレトロターゲット２００の直径方向の明度分布図を示している。レトロターゲットが図２４（Ａ１）のように内円部２０４の明度が明るい場合は、測定対象物１の撮影画像において重心位置での反射光量が多く明るい部分になっているため、画像の光量分布が図２４（Ａ２）のようになり、光量分布の閾値Ｔｏからレトロターゲットの内円部２０４や中心位置を求めることが可能となる。本実施例では、（Ａ１）の場合、正方形の位置検出用パターンＰ１の中心部に小円に相当する円が一つ形成されていればよく、大円の外側は明るくても暗くてもよいが、暗くするのが良い。暗い場合は、実質的に一つの円（小円）が形成されているだけである。（Ｂ１）の場合は、大円の外側は明るくても暗くてもよいが、大円の外側が明るい場合は、実質的に明るい下地に暗い１つの円（小円）が形成されているだけである。
【００９６】
ターゲットの存在範囲が決定されると、例えばモーメント法によって重心位置を算出する。例えば、図２４（Ａ１）に表記されたレトロターゲット２００の平面座標を（ｘ、ｙ）とする。そして、レトロターゲット２００の明度が、閾値Ｔｏ以上のｘ、ｙ方向の点について、（式８）、（式９）を演算する。
ｘｇ＝｛Σｘ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ）  −−−−（式８）
ｙｇ＝｛Σｙ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ）  −−−−（式９）
（ｘｇ、ｙｇ）：重心位置の座標、ｆ（ｘ、ｙ）：（ｘ、ｙ）座標上の光量
なお、図２４（Ｂ１）に表記されたレトロターゲット２００の場合は、明度が閾値Ｔｏ以下のｘ、ｙ方向の点について、（式８）、（式９）を演算する。これにより、レトロターゲット２００の重心位置が求まる。
【００９７】
図２５に実施例４における撮影範囲画像の例を示す。図６に示すカラーコードターゲットが貼り付けられた土器を測定対象物２として、撮影画像から、カラーコードターゲットを抽出し、その三次元位置座標を求め、撮影範囲画像に撮影領域を区画し、各撮影領域に撮影画像を張り付けてテクスチャ画像としての撮影範囲画像を形成したものである。重複撮影領域がテクスチャ画像として表現され、未重複撮影領域は空間のままである。特徴点として、カラーコードターゲットにおけるレトロターゲットのみを用いても良いが、他のレトロターゲットや特徴点も用いると、精度の高い撮影範囲画像を得ることができる。図２５には、土器の表面に特徴点としてのカラーコードターゲット（Ａ１〜Ａ８）及びレトロターゲット（Ｔ１〜Ｔ８）の位置が示されている。なお、１つのカラーコードターゲットは３つのレトロターゲットを有している。このように、撮影範囲画像をテクスチュア画像として実物ライクに表現すると、撮影の進捗状況をビジュアルに把握できる。なお、撮影領域に区分する代わりに座標変換により撮影範囲画像を形成しても良い。
【００９８】
図２６に実施例４における画像撮影の処理フロー例を示す。実施例１の処理フロー（図１６参照）に比して、特徴点抽出工程（Ｓ１２０）に代わりカラーコードターゲット抽出工程（Ｓ１２０Ａ）を有し、カラーコードターゲット抽出工程（Ｓ１２０Ａ）と対応点探索工程（Ｓ１３０）の間にコード識別工程（Ｓ１２５）を有する。カラーコードターゲット抽出工程（Ｓ１２０Ａ）では、マーク抽出部６２にて、撮影部３で取得された撮影画像及びライブ画像におけるカラーコードターゲットを特徴点として抽出する。コード識別工程（Ｓ１２５）では、コード識別部６３にてカラーコードターゲットＣＴの識別コードを識別する。パターン配置とコード番号の対応関係を記録するカラーコードターゲット対応表を用いて、カラーコードターゲットＣＴのカラーコード部Ｐ３における色彩の配列から識別コードを判別し、カラーコードターゲットＣＴに番号を付与する。特徴点として自他識別可能な識別コードを有するマークを使用することにより、識別コードを利用して、特徴点抽出や対応点探索が容易になり、三次元位置計測が効率的になる。その他の構成及び処理フローは実施例１と同様であり、実施例１と同様に、次に撮影する撮影の重複状況及び撮影の進捗状況を把握でき、撮影を過不足なく効率的に行なえる三次元計測用画像撮影装置を提供できる。
【実施例５】
【００９９】
実施例４では、測定対象物に自他識別可能な識別コードを有するカラーコードターゲットを貼付けて特徴点として使用する例を説明したが、実施例５では、当該マーク自体では識別性がない非コードマークを、識別性マークとして利用する例を説明する。すなわち、それ自体識別性を持たないレトロターゲットでも、自他識別可能なコードを有するマークカラーコードターゲットとの配置関係により識別性を持たせることができる。
【０１００】
図２７は、カラーコードターゲットとレトロターゲットとを共に識別性マークとして用いる例を示す図である。測定対象物２としての土器にカラーコードターゲット（Ａ１０〜Ａ１３）とレトロターゲット（Ｔ１０，Ｔ１１等）が貼付されている。例えば、レトロターゲットＴ１０は、カラーコードターゲット（Ａ１０〜Ａ１２）が形成する三角形の中にあり、カラーコードターゲット（Ａ１０〜Ａ１２）に対してその位置関係が特定されれば、識別性が生じる。また、レトロターゲットＴ１１は、カラーコードターゲット（Ａ１１〜Ａ１３）が形成する三角形の中にあり、カラーコードターゲット（Ａ１１〜Ａ１３）に対してその位置関係が特定されれば、識別性が生じる。例えば、特定のコードを有するマークからの方向と距離、特定のコードを有する３つのマークが形成する三角形への投影点（垂線の交点）と距離等により特定可能である。これを利用すると、非コードマークであるレトロターゲット（Ｔ１０，Ｔ１１等）を識別性マークとして利用できる。又は、この配置関係を三次元空間上に投影し、配置関係の合致性から非コードマークを識別してもよい。図示しない非コードマーク識別部は、マーク抽出部６２で抽出された非コードマークについて他の自他識別可能なコードを有するマークとの配置関係から非コードマークを識別し、配置関係により識別性が生じた非コードマークに特徴点番号を付与する。これにより、多数のレトロターゲットを識別性マークとして利用できるので、少ないカラーコードターゲットでも、高精度の三次元計測が可能になる。
【実施例６】
【０１０１】
以上の実施例では、撮影位置を特定していないが、実施例６では、撮影予定位置の座標を予め入力しておき、撮影予定位置で順次撮影を行なうと共に、撮影者を次回撮影予定位置へガイドする例を説明する。
【０１０２】
図２８に、実施例６に係る三次元計測用画像撮影装置１Ｄの構成例をブロック図で示す。実施例４の構成（図２２参照）に比して、入力部４Ａに撮影予定位置入力部４１が追加され、記憶部５に撮影予定位置記憶部５７が追加され、さらに、ガイド情報処理部９が追加され、撮影回数判定部３１が追加されている。ガイド情報処理部９は、予め定められた撮影予定位置と撮影者の現在位置の情報を取得し、撮影者を撮影予定位置へガイドするための情報を作成するもので、移動情報演算部９１、次回撮影予定位置選択部９２、移動情報報知部９３を有する。撮影予定位置入力部４１は、予め定められた複数の撮影予定位置を入力し、撮影予定位置記憶部５７は撮影予定位置入力部４１から入力されたこれらの撮影予定位置を記憶する。撮影回数判定部３１は撮影不足領域の有無を判定するために使用される。すなわち、撮影不足領域判定部８６は、撮影予定位置記憶部５７において全ての撮影予定位置が既撮影位置として記憶された場合（撮影回数が撮影予定位置に達した場合）に撮影不足領域が無いと判定する。なお、ガイド情報処理部９はパーソナルコンピュータ（ＰＣ）１５内に構成される。
【０１０３】
また、三次元位置測定部７は、三次元位置演算部７３において、特徴抽出部６で抽出された撮影画像及びライブ画像に重複する特徴点の撮影画像及びライブ画像における画面位置から、特徴点の三次元座標と共に撮影位置（撮影部３の現在位置）の三次元座標を求める。特徴点としてカラーコードマーク等の自他識別可能な識別コードを有するマーク使用し、例えば、測定対象物としての自動車２等の周囲の地面等に配置しておく。抽出されたマーク（カラーコードターゲット、レトロターゲット等）の位置が既知の場合にはＤＬＴ法を使用して測定対象物２の特徴点及び撮影位置の三次元座標を求めることができる。
【０１０４】
［ＤＬＴ法］
ＤＬＴ法は、写真座標と被写体の三次元座標（特徴点座標）との関係を三次の射影変換式で近似したものである。
ＤＬＴ法の基本式は（式１０）となる。
【数５】
2010256252.tif 000007
【０１０５】
（式１０）に対し、分母を消去すると、次の線形式を導き出せる。
【数６】
2010256252.tif 000008
【数７】
2010256252.tif 000009
【０１０６】
（式１２）を直接、最小二乗法を用いて解くと、写真座標と対象点座標との関係を決定するＬ１〜Ｌ１１の１１個の未知変量を取得できる。したがって、位置座標が既知の６点について（式１２）を解くことにより、被写体の写真座標（ｘ，ｙ）と被写体の三次元座標（特徴点座標）（Ｘ，Ｙ，Ｚ）との関係が求まり、写真座標（ｘ，ｙ）と特徴点座標（Ｘ，Ｙ，Ｚ）を結ぶ直線の収束点にあたる撮影位置の位置座標（０，０，０）を求めることができる。この場合、撮影位置は、特徴点座標に対して（−Ｘ，−Ｙ，−Ｚ）の位置になる。
【０１０７】
［テクスチャマッピング］
また、三次元位置測定部７は、三次元位置演算部７３において、特徴点抽出部６１で抽出された撮影画像（単数又は複数）及びライブ画像に重複する特徴点の撮影画像及びライブ画像における画面位置から、例えば、テクスチャマッピングにより、撮影位置（撮影部３の現在位置）の三次元座標を求める。
撮影範囲画像に書き込みする特徴点の位置として、テクスチャマッピングで求められた三次元座標を使用できる。このようにすると、撮影範囲画像の精度を向上できる。次に、写真に撮影した画像を空間座標（Ｘ、Ｙ、Ｚ）上に形成されるモデル画像上にテクスチャマッピングする方法について説明する。  画像上の各画素（ピクセル）の空間座標を計算する。この処理では、写真上の画像座標（ｘ、ｙ）を空間座標（Ｘ、Ｙ、Ｚ）に変換する。空間座標（Ｘ、Ｙ、Ｚ）は、三次元計測によって計算された値である。写真の画像座標（ｘ、ｙ）に対応する空間座標（Ｘ、Ｙ、Ｚ）は、以下の式で与えられる。このようにして、画像上の各ピクセルの濃度取得位置を求め、画像を三次元空間上にマッピングする。  
【０１０８】
【数８】
2010256252.tif 000010
ここで、  （Ｘ０、Ｙ０）  ：空間座標系での写真画像の左上の位置、  （ΔＸ、ΔＹ）：空間座標系での１画素の大きさ、  （ｘ、ｙ）    ：写真画像の画像座標、  （Ｘ、Ｙ、Ｚ）：空間画像座標  ａ，ｂ，ｃ，ｄ：ある画像座標（ｘ、ｙ）を内挿する複数の基準点により形成される平面方程式の係数である。
【０１０９】
この係数は、例えば、三角形内挿処理（Ｔｒｉａｎｇｕｌａｔｅｄ  Ｉｒｒｅｇｕｌｅｒ  Ｎｅｔｗｏｒｋ，ＴＩＮ）の平面の方程式の係数である。ＴＩＮは、３次元座標を内挿する方法として三角形を構成単位とするメッシュを生成するもので、三角網とも呼ばれる。（ＴＩＮについての詳細は、「伊理正夫、腰塚武志：計算幾何学と地理情報処理、ｐｐ１２７」、「Ｆｒａｎｚ  Ａｕｒｅｎｈａｍｍｅｒ，杉原厚吉訳：Ｖｏｒｏｎｏｉ図、一つの基本的な幾何データ構造に関する概論、ＡＣＭ  Ｃｏｍｐｕｔｉｎｇ  Ｓｕｒｖｅｙｓ，  Ｖｏｌ．２３，ｐｐ３４５−４０５」等を参照。）
【０１１０】
撮影画像の特徴点を撮影範囲画像にマッピングできれば、撮影領域毎に区画した撮影範囲画像を形成できる。これにより、撮影領域について重複撮影領域、未重複撮影領域等をビジュアルに判別でき、撮影を効率化できる。また、各撮影領域に撮影画像を当てはめる（貼り付ける）ことにより、図２５のよう三次元モデル画像（テクスチャ画像）を形成できる。また、三次元モデル画像からオルソ画像や全周囲画像を形成できる。これらにより、撮影範囲画像に既撮影範囲をビジュアルに表現でき、次に撮影する撮影の重複状況及び撮影の進捗状況を容易かつ正確に把握できる。
【０１１１】
移動情報演算部９１は、三次元位置演算部７３で求められた撮影位置（撮影部３の現在位置）の三次元座標と撮影予定位置記憶部５７に記憶された撮影予定位置から、撮影予定位置に対する撮影位置の方向と距離を求める。次回撮影予定位置選択部９２は、求められた撮影位置の位置座標に基づいて、複数の撮影予定位置の中から次回撮影予定位置を選択する。次回撮影予定位置選択部９２は、複数の撮影予定位置の位置座標と、当該撮影予定位置において撮影済か未撮影かを記憶した撮影予定位置表を有し、撮影予定位置表を参照して、例えば、求められた撮影位置と各撮影予定位置との距離（測定対象物が間に入る場合はこれを迂回した距離）を比較し、未撮影の撮影予定位置のうち求められた撮影位置と最短距離にある撮影予定位置を次回撮影予定位置として選択する。移動情報報知部９３は、撮影位置と次回撮影予定位置の位置情報から、撮影者にガイドする情報を作成し、表示部４に表示させる。撮影回数判定部３１はＰＣ１５内に設けられ、図示しない撮影回数カウンタを有し、撮影回数カウンタで取得された撮影画像数を計数する。撮影回数カウンタには入力部４Ａから予定撮影回数として撮影予定位置数を設定する。撮影不足領域判定部８６は撮影回数判定部３１を参照して、予定撮影回数に達したか否かを判定する。撮影予定位置記憶部５７において全ての撮影予定位置が既撮影位置として記憶された時に、撮影回数カウンタの計数が予定撮影回数に達するので、予定撮影回数に達したか否かを判定できる。すなわち、撮影回数判定部３１は、実施例２におけるものと構成は同じであるが、予定撮影回数として撮影予定位置数を使用する点、撮影後ではなく、ガイド情報表示後に判定を行なう点が異なる。なお、撮影回数判定部３１は撮影予定位置記憶部５７における既撮影位置を示すフラグを計数して、撮影予定位置記憶部５７において全ての撮影予定位置が既撮影位置として記憶されたか否かを判定しても良い。
【０１１２】
図２９に、実施例６における画像撮影の処理フロー例を示す。まず、撮影予定位置入力部４１は、予め定められた複数の撮影予定位置を入力し（撮影予定位置入力工程：Ｓ４００）、撮影予定位置記憶部５７は撮影予定位置入力部４１から入力されたこれらの撮影予定位置を記憶する（撮影予定位置記憶工程：Ｓ４０１）。また、撮影回数判定部３１の撮影回数カウンタに入力部４Ａから予定撮影回数を設定する。次に、撮影部３により、測定対象物２を撮影する（撮影工程：Ｓ４１０）。撮影された撮影画像は撮影画像記憶部５１に記憶される（撮影画像記憶工程：Ｓ４１５）。次に、ライブ画像を取得して、ライブ画像記憶部に一時的に記憶する（ライブ画像記憶工程：Ｓ４１６）。ビデオカメラ又はデジタルカメラで撮影されたライブ画像は常時ライブ画像記憶部５０のテンポラリメモリに上書きされ、表示部４に転送される。撮影者が表示部４に表示されたライブ画像で撮影範囲画像を形成したい場合、例えば入力部４Ａから「Ａ」を入力することにより、ライブ画像記憶部５０において、その時点でのライブ画像を編集用メモリに取り込む。ステレオ画像選択部７０は、編集用メモリに取り込まれたライブ画像と、当該ライブ画像と重複する特徴点を抽出するための撮影画像を既撮影画像から選択し、ステレオ画像とする。例えば最後に撮影した撮影画像を選択する。次に、ステレオ画像として選択した撮影画像及びライブ画像から特徴点を抽出する（特徴点抽出工程：Ｓ４２０）。次いで特徴点抽出工程（特徴点抽出工程：Ｓ４２０）で抽出された撮影画像及びライブ画像の特徴点について対応点探索部７１にて対応付けを行う（対応点探索工程：Ｓ４３０）。撮影工程（Ｓ４１０）〜対応点探索工程（Ｓ４３０）は実施例１（図１６参照）の撮影工程（Ｓ１００）〜対応点探索工程（Ｓ１３０）と同じである。
【０１１３】
次に、対応点探索部７１で対応付けされた各特徴点の三次元座標を算出すると共に撮影位置の三次元座標を算出する（三次元座標算出工程：Ｓ４４０）。標定部７２にて標定を行い、カメラの位置と傾きを求め、三次元位置演算部７３にて各特徴点及び撮影位置の三次元座標を算出する。撮影位置の三次元座標が算出されたら、ガイド情報処理部９で撮影者へのガイド情報を作成する。まず、移動情報演算部９１にて、三次元位置演算部７３で求められた撮影位置（撮影部３の現在位置）の三次元座標と撮影予定位置記憶部５７に記憶された撮影予定位置から、撮影予定位置に対する撮影位置の方向と距離を求める（移動方向算出工程：Ｓ４５０）。次に、次回撮影予定位置選択部９２にて、求められた撮影位置の位置座標に基づいて、複数の撮影予定位置の中から次回撮影予定位置を選択する。次に、移動情報報知部９３にて、撮影位置と次回撮影予定位置の位置情報から、撮影者を撮影位置から次回撮影予定位置へガイドするガイド情報を作成し、表示部４に表示させる（移動ガイド表示工程：Ｓ４６０）。次に、撮影回数判定部３１にて撮影回数が予定撮影回数に達したか否かを判定する（撮影回数判定工程：Ｓ４７０）。撮影回数の判定は撮影回数カウンタからのリセット信号の出力の有無により行なわれる。リセット信号が出力されるまで、撮影工程（Ｓ４００）〜移動ガイド表示工程（Ｓ４６０）が繰り返される。撮影範囲画像形成部８５ではリセット信号を受信すると、予定撮影回数に相当する枚数の撮影画像及びライブ画像から撮影範囲画像を形成する（撮影範囲画像形成工程：Ｓ４８０）。
【０１１４】
撮影範囲画像形成工程（Ｓ４８０）は実施例１の撮影範囲画像形成工程（Ｓ１５０）と同様である（図１７参照）。ただし、予定撮影回数に相当する枚数の撮影画像から既撮影範囲画像を形成し、撮影部３の現在位置におけるライブ画像と当該ライブ画像と重複する特徴点を抽出するためにステレオ画像として選択された既撮影画像から現撮影範囲画像を形成する。ステレオ画像として、例えば最後に撮影した撮影画像を選択する。なお、予定撮影回数が撮影予定位置数に等しい場合には、現撮影範囲画像を形成しなくても良い。次に、表示部４にて、撮影範囲画像形成部８５にて形成された撮影範囲画像を表示する（表示工程：Ｓ４９０）。表示工程（Ｓ４９０）は実施例１の表示工程（Ｓ１６０）と同様である（図１７参照）。既撮影範囲画像と現撮影範囲画像が合せて表示される。次に、撮影不足領域判定部８６にて、撮影範囲画像に撮影不足領域が有るか否かを判定する（撮影不足領域判定工程：Ｓ５００）。本実施例では、撮影予定位置記憶部５７において既に撮影された撮影予定位置を既撮影位置として記憶し、撮影予定位置記憶部５７において全ての撮影予定位置が既撮影位置として記憶された場合に撮影不足領域が無いと判定する。そして、撮影不足領域報知部８７にて、撮影不足領域判定部８６の判定結果を表示部４に表示させる。撮影不足領域が有るか否かの判定は、撮影回数が撮影予定位置数に達し、撮影範囲画像が表示された時に行なわれる。撮影不足領域が有ると判定された場合には、撮影予定位置入力工程（Ｓ４００）に戻り、撮影工程（Ｓ４１０）〜撮影不足領域判定工程（Ｓ５００）の処理が繰り返される。この場合、撮影予定位置入力工程（Ｓ４００）では、典型的には既撮影位置を除く撮影予定位置が入力される。ただし、既撮影位置での撮影画像にボケ等の品質不良が生じた場合には撮影予定位置として入力できる。撮影不足領域が無いと判定された場合には、画像撮影の処理フローが終了する。
【０１１５】
図３０は測定対象物と撮影予定位置との位置関係を示す図である。撮影対象物２と撮影予定位置との位置関係を二次元的に表すもので、撮影位置画像１３と称することとする。撮影位置画像１３には、撮影対象物２の設置領域１４が中心に、撮影予定位置がその周囲に表示されている。撮影予定位置には番号が付され（○内に１〜８の番号を付して示す）、各撮影予定位置（○内に１〜○内に８）から撮影対象物２を観察・撮影する方向が矢印で表されている。撮影者は撮影予定位置に付された番号順に撮影予定位置へ移動して、順次、撮影対象物２を撮影すれば良い。
【０１１６】
図３１に撮影予定位置を撮影範囲画像に書き込んだ例（その１）を示す。撮影範囲画像としての平面図に撮影予定位置がプラスマーク＋で示され、番号１００１〜１０３２が付されている。抜けがある番号（１０２２，１０２４，１０２５，１０２９）は未入力の撮影予定位置であるが、今後入力される。測定対象物２は中心（０．１５０，０．１２５）に設置される予定であり、これを全周囲から取り囲むように撮影予定位置が配置されている。典型的には三次元座標（Ｘ，Ｙ，Ｚ）が入力されるが、平面的配置を見るには平面図が適している。
【０１１７】
図３２に撮影予定位置を撮影範囲画像に書き込んだ例（その２）を示す。撮影範囲画像としての透視図に撮影予定位置が四角形□で示され、番号が付されている。測定対象物２は中心（０，−１．５００，０）に設置される予定であり、これを全周囲から取り囲むように、さらに斜め上方からも撮影するように撮影予定位置が配置されている。一般的には三次元座標（Ｘ，Ｙ，Ｚ）が入力される。立体的配置を見るには透視図が適している。
【０１１８】
図３３に撮影範囲画像に撮影予定位置を指示した例（その１）を示す。撮影範囲画像としての平面図に既撮影の撮影予定位置がプラスマーク＋で示され、番号が付されている。未撮影の撮影予定位置はプラスマーク＋も番号も付されていない。図では番号１００３と１００６の撮影予定位置が未撮影になっている。このうち、番号１００３の撮影予定位置に矢印が表示され、次回撮影予定位置として指定され、撮影方向が矢印の方向で示されている。
【０１１９】
図３４に撮影範囲画像に撮影予定位置を指示した例（その２）を示す。撮影範囲画像としての透視図に既撮影の撮影予定位置が四角形□で示され、番号が付されている。未撮影の撮影予定位置（図では１箇所）には四角形□も番号も付されていない。未撮影の撮影予定位置に矢印（図では太い矢印）が表示され、次回撮影予定位置として指定され、撮影方向が矢印の方向で示されている。
【０１２０】
図３５に撮影範囲画像に撮影領域を形成した例（その１）を示す。撮影範囲画像としての平面図（ワイヤフレーム画像）に既撮影の撮影予定位置がプラスマーク＋で示され、番号が付されている。未撮影の撮影予定位置はプラスマークも番号も付されていない。図では番号１００６の撮影予定位置が未撮影になっている。また、測定対象物としての自動車２が撮影領域に区分けされ、未重複撮影領域が黒色（図では細かい網目模様）、新重複撮影領域が白色、重複撮影領域が模様を付して示されている。本実施の形態によれば、重複して撮影されなければ、特徴点の三次元座標は定まらないので撮影範囲画像には重複撮影領域以外は表示されない。ただし、予め撮影領域とこれを囲む３以上の特徴点の位置を予測しておき、撮影範囲画像にこの予測値を入力しておけば、未重複撮影領域を表示することが可能である。特徴点の三次元座標が測定された場合には予測値を測定値に置換する。この撮影範囲画像はかような場合の例である。
【０１２１】
図３６に撮影範囲画像に撮影領域を形成した例（その２）を示す。撮影範囲画像として透視図（ワイヤフレーム画像）に撮影予定位置が四角形□で示されている。測定対象物としての土器２が中心に設置され、土器２の撮影領域のうち、重複撮影領域が色分け（図では模様別）表示され、未重複撮影領域が表示されていない。図では矢印の方向から撮影する撮影予定位置が未撮影の位置（１箇所）になっており、この位置からの撮影が行なわれれば、土器２の全ての撮影領域が重複撮影領域となる。
【０１２２】
図３７に撮影範囲画像に撮影領域を形成した例（その３）を示す。図３６の未撮影の撮影予定位置からの撮影が行なわれた後の透視図（ワイヤフレーム画像）である。土器２の撮影領域のうち、未重複撮影領域がなくなっている。
【０１２３】
図３８に撮影範囲画像に撮影領域を貼付表示した例（その１）を示す。撮影範囲画像としての透視図（三次元モデル画像、テクスチャ画像）に撮影予定位置が四角形□で示されている。測定対象物としての自動車２の既撮影領域に撮影画像が当てはめ（貼り付け）られている。このうち、新重複撮影領域は暗く表示されている。また、未重複撮影領域には撮影画像が貼り付けられておらず、黒色で示されている。本実施例では、重複して撮影されなければ、特徴点の三次元座標は定まらないので撮影範囲画像には未重複撮影領域は表示されない。ただし、予め撮影領域とこれを囲む３以上の特徴点の位置を予測しておき、撮影範囲画像にこの予測値を入力しておけば、未重複撮影領域を表示することが可能である。特徴点の三次元座標が測定された場合には予測値を測定値に置換する。この撮影範囲画像はかような場合の例である。
【０１２４】
図３９に撮影範囲画像に撮影領域を貼付表示した例（その２）を示す。撮影範囲画像としての透視図（三次元モデル画像、テクスチャ画像）に撮影予定位置が四角形□で示されている。図では矢印の方向から撮影する撮影予定位置が未撮影の位置（１箇所）になっている。測定対象物としての土器２の重複撮影領域に撮影画像が当てはめ（貼り付け）られている。未重複撮影領域には撮影画像が貼り付けられておらず、空間になっている。なお、土器の内側が灰色で表示されている。図では１つの撮影予定位置が未撮影の位置になっており、この位置からの撮影が行なわれれば、土器２の全ての撮影領域が重複撮影領域となる。
【０１２５】
本実施例によれば、次に撮影する撮影の重複状況及び撮影の進捗状況を把握でき、撮影を過不足なく効率的に行なえる三次元計測用画像撮影方法を提供できる。さらに、撮影予定位置を定め、撮影者を現在位置から次回撮影予定位置へガイドすることにより、撮影を計画的に実行できる。
【実施例７】
【０１２６】
実施例１では、測定対象物の特徴点の三次元座標を求め、撮影画像を３以上の特徴点に囲まれた撮影領域に区分して、測定対象物の撮影範囲を三次元空間に表現する撮影範囲画像を形成する例を説明したが、実施例７では、さらに、撮影部３のカメラの位置と方向を求め、表示部４は、撮影範囲画像を求められた撮影方向から見た画像として表示する例を説明する。三次元計測用画像撮影装置の構成として、実施例１（図１参照）の構成を使用できる。
【０１２７】
図４０に実施例７における画像撮影の処理フロー例を示す。実施例１における画像撮影の処理フロー（図１６、図１７参照）に比して、三次元位置測定工程（Ｓ１４０）において、他特徴点三次元座標に加え、撮影部３の撮影位置と撮影方向を測定する、表示工程（Ｓ１６０）において、撮影範囲画像を三次元位置測定部工程（Ｓ１４０）で求められた撮影方向から見た画像として表示する。撮影位置と撮影方向の求め方は、実施例６で説明したＤＬＴ法やテクスチャマッピングを使用できる。
【０１２８】
図４１に撮影範囲画像の例（その１）を示す。撮影範囲画像は三次元モデル画像（ワイヤフレーム画像）として示されている。透視図で表わされた撮影範囲画像の座標空間に土器が表現され、撮影領域が区画され、ワイヤフレーム画像として表現されている。三次元位置測定部７により、ライブ画像から撮影部３の撮影位置（現在位置）と撮影方向が求められ、求められた撮影方向に合致するように撮影範囲画像を回転して示している。すなわち、カメラの正面から見た撮影範囲画像が表現されている。この撮影範囲画像には既撮影範囲画像が表現され、例えば最新の既撮影画像とライブ画像を用いて形成された現撮影範囲画像は表現されていない。したがって、未重複撮影領域が正面に来ている。
【０１２９】
図４２に撮影範囲画像の例（その２）を示す。図４０に既撮影画像とライブ画像を用いて形成された現撮影範囲画像が追加されている。そして、撮影者が移動し、新たな撮影部３の撮影位置（現在位置）において、三次元位置測定部７により、ライブ画像から撮影部３の撮影位置と撮影方向が求められ、新たに求められた撮影方向に合致するように撮影範囲画像を回転して示している。すなわち、新たなカメラの正面から見た撮影範囲画像が表現されている。この撮影範囲画像には上記現撮影範囲画像が追加された既撮影範囲画像が表現されているが、新たな現撮影範囲画像は表現されていない。したがって、未重複撮影領域が正面に来ている。そして、未重複撮影領域は図４０に比して狭くなっている。
【０１３０】
本実施例によれば、実施例１の効果に加え、既撮影範囲画像と現撮影範囲画像とを別々に、又は合せてカメラ正面から表示することにより、次に撮影による重複撮影状況を容易に把握できる。
【実施例８】
【０１３１】
実施例８では、三次元計測用画像撮影装置が複数のユニットに分離でき、各ユニット間で有線又は無線により通信可能に構成される例を説明する。
例えば、第１ユニットは撮影部３及び表示部４を有し、第２ユニットはＰＣ１５、入力部４Ａ，記憶部５を有するものとする。第１ユニットは第２ユニットから独立して移動可能に構成される。第１ユニットは携帯可能であり、撮影者は第１ユニットを携帯して、移動しながら撮影を行なうことができ、負担が小さく敏速に行動できる。第２ユニットはＰＣ１５内に三次元位置測定部７及び画像処理部８（撮影範囲画像形成部８５を含む）を有し、演算処理、画像処理が可能である。ＰＣ１５をオフィス等に設置することにより、高性能・高速処理のコンピュータ処理に適する。前記第１ユニットと前記第２ユニットとは、有線又は無線により通信可能に構成され、通信を介してデータやコマンドを送受信して、画像撮影処理ができる。その他の構成及び処理フローは以上の実施例と同様である。
【０１３２】
また、本発明は、以上の実施の形態のフローチャート等に記載の三次元計測用画像撮影方法の発明、当該方法の発明を三次元計測用画像撮影装置に実行させるためのプログラムとしても実現可能である。プログラムは三次元計測用画像撮影装置の内蔵記憶部に蓄積して使用してもよく、外付けの記憶装置に蓄積して使用してもよく、インターネットからダウンロードして使用しても良い。また、当該プログラムを記録した記録媒体としても実現可能である。
【０１３３】
以上説明したように、本発明によれば、単カメラを用いて移動しながら撮影を行う場合に、次に撮影する撮影の重複状況及び撮影の進捗状況を把握でき、撮影を過不足なく効率的に行なえる三次元計測用画像撮影装置を提供できる。
【０１３４】
以上、本発明の実施の形態について説明したが、本発明は上記の実施例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で実施例に種々変更を加えられることは明白である。  
【０１３５】
例えば、以上の実施例では、撮影範囲画像の形成を撮影毎に又は所定枚数撮影毎に行なう、撮影範囲画像の形成を撮影領域に区画して行う又は撮影画像の特徴点を座標変換して行う、撮影領域に区画して行う場合に撮影領域を色分け表示する又は撮影画像を貼付けて表示する等の例を説明したが、これらの選択肢を自由に選択可能である。また、特徴点として自他識別可能な識別コードを有するマークを使用する、撮影予定位置を定めガイドを行なう等の選択肢も自由に選択可能である。また、撮影不足領域の判定について、撮影領域の撮影回数を用いる、撮影予定位置数を用いる、模擬対象物に係る撮影範囲画像を用いる例を説明したが、これらのいずれを用いても良く、２以上を用い補完するようにしても良い。また、撮影領域の大きさはそれを囲むマークの組み合わせを変えることで自由に変更可能である。例えば、撮影回数を３回に統一したい場合には、撮影画像全体の約１／３になるように選択し、撮影画像が約１／３ずつ変化するように移動しながら撮影する等である。また、任意の撮影位置で一歩ずらした一対の位置で撮影するようにすれば常にステレオ画像に近い画像を得ることができ、標定や三次元計測に利用し易い。また、撮影範囲画像はテクスチャ画像、ワイヤフレーム画像の他に、鳥瞰図などで表現しても良い。また、三次元座標空間として、透視図を使用する例を説明したが、投影図を用いても良い。また、以上の実施例では、撮影不足領域の有無の判断を撮影不足領域判定部８６にて自動的に行う例を説明したが、撮影者が行なっても良い。その他、撮影の所定枚数、使用する特徴点数やマーク数、撮影予定位置数等は適宜変更可能である。
【産業上の利用可能性】
【０１３６】
本発明は、撮影の進捗状況を把握しながら撮影を進める三次元計測等に利用できる。
【符号の説明】
【０１３７】
１，１Ａ〜１Ｅ  三次元計測用画像撮影装置
２    測定対象物
３    撮影部
４    表示部
４Ａ  入力部
５    記憶部
６    特徴抽出部
７    三次元位置測定部
８    画像処理部
９    ガイド情報処理部
１０  制御部
１１  ライブ画像
１２  見本画像
１３  撮影位置画像
１４  撮影対象物の設置領域
１５  パーソナルコンピュータ（ＰＣ）
３１  撮影回数判定部
４１  撮影予定位置入力部
５１  撮影画像記憶部
５２  特徴点撮影回数記憶部
５３  領域撮影回数記憶部
５４  撮影領域画像記憶部
５５  特徴点位置関係記憶部
５６  見本画像記憶部
５７  撮影予定位置記憶部
５８  ライブ画像記憶部
６１  特徴点抽出部
６２  マーク抽出部
６３  コード識別部
７１  対応点探索部
７２  標定部
７３  三次元位置演算部
８１  撮影領域区分部
８２  特徴点撮影回数計数部
８３  領域撮影回数計数部
８４  測定対象物境界抽出部
８５  撮影範囲画像形成部
８６  撮影不足領域判定部
８７  撮影不足情報報知部
８８  画像座標変換部
９１  移動情報演算部
９２  次回撮影予定位置選択部
９３  移動情報報知部
２００  レトロターゲット
２０４  内円部
２０６  外円部
Ａ１〜Ａ８，Ａ１０〜Ａ１３  カラーコードターゲット
ＣＴ  カラーコードターゲット
Ｐ１  レトロターゲット部
Ｐ２  基準色部
Ｐ３  カラーコード部
Ｐ４  白色部
Ｑ１〜Ｑ５  撮影領域
Ｔ１〜Ｔ８，Ｔ１０，Ｔ１１  レトロターゲット
Ｔｏ  閾値
【図１】
2010256252.tif 000011
【図２】
2010256252.tif 000012
【図４】
2010256252.tif 000013
【図５】
2010256252.tif 000014
【図８】
2010256252.tif 000015
【図９】
2010256252.tif 000016
【図１０】
2010256252.tif 000017
【図１１】
2010256252.tif 000018
【図１４】
2010256252.tif 000019
【図１６】
2010256252.tif 000020
【図１７】
2010256252.tif 000021
【図１８】
2010256252.tif 000022
【図１９】
2010256252.tif 000023
【図２０】
2010256252.tif 000024
【図２１】
2010256252.tif 000025
【図２２】
2010256252.tif 000026
【図２４】
2010256252.tif 000027
【図２６】
2010256252.tif 000028
【図２８】
2010256252.tif 000029
【図２９】
2010256252.tif 000030
【図３５】
2010256252.tif 000031
【図３６】
2010256252.tif 000032
【図３７】
2010256252.tif 000033
【図４０】
2010256252.tif 000034
【図３】
2010256252.tif 000035
【図６】
2010256252.tif 000036
【図７】
2010256252.tif 000037
【図１２】
2010256252.tif 000038
【図１３】
2010256252.tif 000039
【図１５】
2010256252.tif 000040
【図２３】
2010256252.tif 000041
【図２５】
2010256252.tif 000042
【図２７】
2010256252.tif 000043
【図３０】
2010256252.tif 000044
【図３１】
2010256252.tif 000045
【図３２】
2010256252.tif 000046
【図３３】
2010256252.tif 000047
【図３４】
2010256252.tif 000048
【図３８】
2010256252.tif 000049
【図３９】
2010256252.tif 000050
【図４１】
2010256252.tif 000051
【図４２】
2010256252.tif 000052