(57)【要約】【課題】三次元のずれ量計測を簡易に行えるようにすること。【解決手段】同一特徴点同定手段５によって、特徴点抽出手段２で抽出した特徴点から、異なる位置から撮影した視野内の同一の特徴点の同定を行い、特徴点三次元位置同定手段６によって、撮像装置位置姿勢取得手段４で取得した基準座標系での撮影時の撮像装置１の位置姿勢より、各撮影における撮像装置１の相互位置姿勢関係を求め、それを用いて、撮影した複数の視野内にある、同定された同一特徴点から、抽出特徴点と撮像装置１との位置関係を同定して、その抽出特徴点の基準座標系における三次元位置を算出する。その後、対応点間三次元誤差計測手段８により、設計情報記憶手段７に記憶された設計情報と、その算出された三次元位置とから、その抽出特徴点と設計情報上の対応点との間の基準座標系における三次元誤差を算出する。【選択図】図１
2005031044.tif 000002
【特許請求の範囲】
【請求項１】
対象物を撮影する撮像装置と、
前記撮像装置で撮影した視野内から特徴点を抽出する手段と、
それぞれ前記特徴点を抽出する手段によって抽出された特徴点から、前記撮像装置を用いて異なる位置から撮影した視野内の同一の特徴点の同定を行う手段と、
少なくとも１つの撮影における基準座標系での前記撮像装置の位置姿勢を取得する手段と、
前記取得された位置姿勢より、各撮影における前記撮像装置の相互位置姿勢関係を求める手段と、
前記相互位置姿勢関係を用いて、撮影した複数の視野内にある、前記同定された同一特徴点から、前記抽出した特徴点と前記撮像装置との位置関係を同定する手段と、
を具備し、
前記同定した位置関係を用いて、前記抽出した特徴点とその特徴点に対応する対象物の設計値上の対応点との間の基準座標系における三次元誤差を計測することを特徴とする三次元誤差測定装置。
【請求項２】
前記撮像装置の位置姿勢を取得する手段は、機械式位置姿勢検出機構によるものであることを特徴とする請求項１に記載の三次元誤差測定装置。
【請求項３】
前記撮像装置の位置姿勢を取得する手段は、磁気式位置姿勢検出機構によるものであることを特徴とする請求項１に記載の三次元誤差測定装置。
【請求項４】
前記撮像装置の位置姿勢を取得する手段は、光学式位置姿勢検出機構によるものであることを特徴とする請求項１に記載の三次元誤差測定装置。
【請求項５】
前記撮像装置の位置姿勢を取得する手段は、前記撮像装置で撮影した画像内に含まれるマーカによるものであることを特徴とする請求項１に記載の三次元誤差測定装置。
【請求項６】
前記抽出した特徴点と前記撮像装置との位置関係を同定する手段は、当該特徴点の基準座標系における三次元位置を算出する手段を含み、
前記撮像装置の位置姿勢を取得する手段は、
前記三次元位置を算出する手段により３点以上の抽出特徴点の三次元位置を取得するまでは、請求項２乃至５の何れかに記載の手段で前記撮像装置の位置姿勢を取得し、
前記三次元位置を算出する手段により３点以上の抽出特徴点の三次元位置を取得後は、それら抽出された複数の特徴点の三次元位置、更に追加抽出同定された特徴点の三次元位置、請求項２乃至５の何れかに記載の手段の何れか、またはその組み合わせによって、前記撮像装置の位置姿勢を取得することを特徴とする請求項２乃至５の何れかに記載の三次元誤差測定装置。
【請求項７】
前記異なる位置から撮影した視野内の同一の特徴点の同定を行う手段は、異なる視野間で抽出特徴点を連続的に追跡する手段を含むことを特徴とする請求項１乃至６の何れかに記載の三次元誤差測定装置。
【請求項８】
前記抽出した特徴点に対応する対象物の設計値上の対応点は、使用者が明示的に指定することを特徴とする請求項１乃至７の何れかに記載の三次元誤差測定装置。
【請求項９】
前記抽出した特徴点に対応する対象物の設計値上の対応点は、抽出特徴点を含む二次元投影画像において周囲画素を比較し同定することを特徴とする請求項１乃至７の何れかに記載の三次元誤差測定装置。
【請求項１０】
前記抽出した特徴点に対応する対象物の設計値上の対応点は、抽出特徴点を含む周辺の点の三次元配置を比較し同定することを特徴とする請求項１乃至７の何れかに記載の三次元誤差測定装置。
【請求項１１】
前記抽出特徴点どうしを線分で結び作成したワイヤフレームモデル上の任意の点と、その点に対応する設計値上の対応点との誤差量を計測可能にする請求項１乃至７の何れかに記載の三次元誤差測定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、測定対象物の設計値からの三次元の誤差を測定する三次元誤差測定装置に関する。
【背景技術】
【０００２】
測定対象物の設計値からの三次元の誤差を測定する場合、レーザースキャナ等の三次元形状取得装置を用いて測定対象物の現状の三次元形状をコンピュータに入力し、予め入力してある設計置などの基準情報とその取得した三次元形状とを比較することでずれ量を検知するのが一般的である。
【０００３】
また、固定した（即ち、位置姿勢が既知の）カメラによって測定対象物を撮影し、その視野中の対象物の基準位置に対するずれを検知する手法も提案されている（例えば、特許文献１参照）。
【特許文献１】特開平５−１０８１２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、レーザースキャナ等の三次元形状取得装置を用いた一般的な手法では、高価なレーザースキャナ等の三次元形状取得装置が必要であり、また、測定手順が複雑で手間がかかった。
【０００５】
また、上記特許文献１に開示の手法では、予め位置姿勢のわかっているカメラ位置からの対象物画像と、対象物の設計値のカメラ位置からの投影画像との差分からずれ量を求めている。しかしながら、対象物上に予め複数の基準点を設ける必要があること、カメラ位置が固定であるため一方向からの画像しか得ることが出来ないこと、が問題であった。
【０００６】
本発明は、上記の点に鑑みてなされたもので、カメラ位置を自由に移動させて三次元のずれ量の計測を簡易に行うことが可能な三次元誤差測定装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、請求項１に記載の発明による三次元誤差測定装置は、
対象物を撮影する撮像装置と、
前記撮像装置で撮影した視野内から特徴点を抽出する手段と、
それぞれ前記特徴点を抽出する手段によって抽出された特徴点から、前記撮像装置を用いて異なる位置から撮影した視野内の同一の特徴点の同定を行う手段と、
少なくとも１つの撮影における基準座標系での前記撮像装置の位置姿勢を取得する手段と、
前記取得された位置姿勢より、各撮影における前記撮像装置の相互位置姿勢関係を求める手段と、
前記相互位置姿勢関係を用いて、撮影した複数の視野内にある、前記同定された同一特徴点から、前記抽出した特徴点と前記撮像装置との位置関係を同定する手段と、
を具備し、
前記同定した位置関係を用いて、前記抽出した特徴点とその特徴点に対応する対象物の設計値上の対応点との間の基準座標系における三次元誤差を計測することを特徴とする。
【０００８】
また、請求項２に記載の発明による三次元誤差測定装置は、請求項１に記載の発明による三次元誤差測定装置において、前記撮像装置の位置姿勢を取得する手段は、機械式位置姿勢検出機構によるものであることを特徴とする。
【０００９】
また、請求項３に記載の発明による三次元誤差測定装置は、請求項１に記載の発明による三次元誤差測定装置において、前記撮像装置の位置姿勢を取得する手段は、磁気式位置姿勢検出機構によるものであることを特徴とする。
【００１０】
また、請求項４に記載の発明による三次元誤差測定装置は、請求項１に記載の発明による三次元誤差測定装置において、前記撮像装置の位置姿勢を取得する手段は、光学式位置姿勢検出機構によるものであることを特徴とする。
【００１１】
また、請求項５に記載の発明による三次元誤差測定装置は、請求項１に記載の発明による三次元誤差測定装置において、前記撮像装置の位置姿勢を取得する手段は、前記撮像装置で撮影した画像内に含まれるマーカによるものであることを特徴とする。
【００１２】
また、請求項６に記載の発明による三次元誤差測定装置は、請求項２乃至５の何れかに記載の発明による三次元誤差測定装置において、
前記抽出した特徴点と前記撮像装置との位置関係を同定する手段は、当該特徴点の基準座標系における三次元位置を算出する手段を含み、
前記撮像装置の位置姿勢を取得する手段は、
前記三次元位置を算出する手段により３点以上の抽出特徴点の三次元位置を取得するまでは、請求項２乃至５の何れかに記載の手段で前記撮像装置の位置姿勢を取得し、
前記三次元位置を算出する手段により３点以上の抽出特徴点の三次元位置を取得後は、それら抽出された複数の特徴点の三次元位置、更に追加抽出同定された特徴点の三次元位置、請求項２乃至５の何れかに記載の手段の何れか、またはその組み合わせによって、前記撮像装置の位置姿勢を取得することを特徴とする。
【００１３】
また、請求項７に記載の発明による三次元誤差測定装置は、請求項１乃至６の何れかに記載の発明による三次元誤差測定装置において、前記異なる位置から撮影した視野内の同一の特徴点の同定を行う手段は、異なる視野間で抽出特徴点を連続的に追跡する手段を含むことを特徴とする。
【００１４】
また、請求項８に記載の発明による三次元誤差測定装置は、請求項１乃至７の何れかに記載の発明による三次元誤差測定装置において、前記抽出した特徴点に対応する対象物の設計値上の対応点は、使用者が明示的に指定することを特徴とする。
【００１５】
また、請求項９に記載の発明による三次元誤差測定装置は、請求項１乃至７の何れかに記載の発明による三次元誤差測定装置において、前記抽出した特徴点に対応する対象物の設計値上の対応点は、抽出特徴点を含む二次元投影画像において周囲画素を比較し同定することを特徴とする。
【００１６】
また、請求項１０に記載の発明による三次元誤差測定装置は、請求項１乃至７の何れかに記載の発明による三次元誤差測定装置において、前記抽出した特徴点に対応する対象物の設計値上の対応点は、抽出特徴点を含む周辺の点の三次元配置を比較し同定することを特徴とする。
【００１７】
また、請求項１１に記載の発明による三次元誤差測定装置は、請求項１乃至７の何れかに記載の発明による三次元誤差測定装置において、前記抽出特徴点どうしを線分で結び作成したワイヤフレームモデル上の任意の点と、その点に対応する設計値上の対応点との誤差量を計測可能にする。
【発明の効果】
【００１８】
本発明によれば、カメラ位置を自由に移動させ、特徴として自動的に抽出された特徴点を用いることで、三次元のずれ量計測を簡易に行うことが可能な三次元誤差測定装置を提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００２０】
［第１実施形態］  
図１は、本発明の第１実施形態に係る三次元誤差測定装置の構成を示すブロック図であり、この三次元誤差測定装置は、撮像装置１、特徴点抽出手段２、画像及び撮像装置位置姿勢記憶手段３、撮像装置位置姿勢取得手段４、同一特徴点同定手段５、特徴点三次元位置同定手段６、設計情報記憶手段７、及び対応点間三次元誤差計測手段８から構成されている。
【００２１】
ここで、上記撮像装置１は、測定対象物を撮影するカメラである。この撮像装置１で撮影された画像は、特徴点抽出手段２に与えられると共に、画像及び撮像装置位置姿勢記憶手段３に記憶される。
【００２２】
上記特徴点抽出手段２は、撮像装置１で撮影した画像（視野）内から特徴点を抽出するものであり、その抽出した特徴点は、上記画像及び撮像装置位置姿勢記憶手段３に記憶される。ここでいう特徴点とは、画像内の画素の強度（濃淡）の周囲との差の大きい点、色の差の大きい点などを指し、対象物のエッジ部分や角、表面の模様などがこれに当たる。抽出方法は、画像処理で良く用いられる微分を用いたエッジフィルター、コーナーディテクタ等があるが、ここでは詳しい説明は省略する。
【００２３】
また、上記撮像装置位置姿勢取得手段４は、少なくとも１つの撮影における基準座標系での撮像装置１の位置姿勢を取得するものである。この撮像装置位置姿勢取得手段４で取得された撮像装置１の位置姿勢も、上記画像及び撮像装置位置姿勢記憶手段３に記憶される。
【００２４】
なお、上記画像及び撮像装置位置姿勢記憶手段３は、半導体メモリや磁気ディスクで構成され、上記撮像装置１を用いて異なる位置から撮影した画像、及び、上記特徴点抽出手段２によってその各画像（視野）内から抽出された特徴点、並びに、上記撮像装置位置姿勢取得手段４で取得された少なくとも１つの位置姿勢を記憶可能となっている。
【００２５】
上記同一特徴点同定手段５は、上記画像及び撮像装置位置姿勢記憶手段３に記憶された、それぞれ上記特徴点抽出手段２によって抽出された特徴点から、上記撮像装置１を用いて異なる位置から撮影した視野内の同一の特徴点の同定を行うものである。
【００２６】
上記特徴点三次元位置同定手段６は、上記画像及び撮像装置位置姿勢記憶手段３に記憶された、上記撮像装置位置姿勢取得手段４で取得された位置姿勢より、各撮影における上記撮像装置１の相互位置姿勢関係を求める。そして、その求めた相互位置姿勢関係を用いて、撮影した複数の視野内にある、前記同定された同一特徴点から、前記抽出した特徴点と前記撮像装置との位置関係を同定して、その抽出特徴点の基準座標系における三次元位置を算出するものである。
【００２７】
上記設計情報記憶手段７は、半導体メモリや磁気ディスクで構成され、上記測定対象物の設計情報を記憶している。なお、この設計情報は、基準座標と関連付けられている。
【００２８】
上記対応点間三次元誤差計測手段８は、この設計情報記憶手段７に記憶されている上記測定対象物の設計情報と、上記特徴点三次元位置同定手段６で算出された抽出特徴点の基準座標系における三次元位置とから、その抽出特徴点とその特徴点に対応する対象物の設計情報上の対応点との間の基準座標系における三次元誤差を算出するものである。また、この対応点間三次元誤差計測手段８は、少なくとも出力装置を含み、その算出した三次元誤差を出力することが可能となっている。
【００２９】
なお、上記撮像装置位置姿勢取得手段４としては、機械式位置姿勢検出機構によって構成することができる。例えば、図２に示すように、エンコーダ内蔵のアーム式位置姿勢検出器４０に撮像装置１としてのカメラ１０を取り付けたものを使用することができる。
【００３０】
あるいは、上記撮像装置位置姿勢取得手段４としては、磁気式位置姿勢検出機構や光学式位置姿勢検出機構によって構成しても良い。
【００３１】
さらには、上記撮像装置１で撮影した画像内に含まれるマーカを利用するものであっても良い。このマーカを用いた位置姿勢の取得法については、「ＶＲインターフェースのための単眼による長方形マーカー位置・姿勢の高精度実時間推定法」（3D Image Conference'96 予稿集 pp.167-172 高橋章、石井郁夫、牧野秀夫、中静真 1996）や、特開２００１−１１８１８７号公報、特開２００１−１２６０５１号公報、等に開示されているので、ここではその説明は省略する。
【００３２】
次に、上記のような構成の三次元誤差測定装置の動作を、図３のフローチャートを参照して説明する。
【００３３】
即ち、まず、撮像装置１により測定対象物を撮影する（ステップＳ１１）。撮影された画像は、フレーム１として、画像及び撮像装置位置姿勢記憶手段３に記憶される。
【００３４】
その後、既に三次元位置の算出された特徴点が３点以上抽出済みか否かを判別する（ステップＳ１２）。
【００３５】
ここで、まだ３点以上の特徴点を抽出していないならば、撮像装置位置姿勢取得手段４により、撮像装置１の基準座標系での位置姿勢を取得し、その取得した位置姿勢を上記画像及び撮像装置位置姿勢記憶手段３に記憶する（ステップＳ１３）。また、特徴点抽出手段２により、撮像装置１で撮影した画像（視野）内から特徴点を抽出する（ステップＳ１４）。この抽出した特徴点は、上記画像及び撮像装置位置姿勢記憶手段３に記憶される。
【００３６】
その後、複数回の撮影が行われたか否かを判別する（ステップＳ１５）。そして、まだ１回しか撮影が行われていなければ、撮像装置１を移動した上で（ステップＳ１６）、上記ステップＳ１１に戻る。
【００３７】
而して、撮像装置１により２回目の撮影を行い、その撮影画像を、フレーム２として、画像及び撮像装置位置姿勢記憶手段３に記憶する（ステップＳ１１）。その後、上記と同様にして、撮像装置位置姿勢取得手段４によりそのときの撮像装置１の基準座標系での位置姿勢を取得し（ステップＳ１３）、特徴点抽出手段２により特徴点を抽出して（ステップＳ１４）、その取得した位置姿勢及び抽出した特徴点を上記画像及び撮像装置位置姿勢記憶手段３に記憶する。
【００３８】
すると、今度は、上記ステップＳ１５において、複数回の撮影が行われたと判別される。この場合には、同一特徴点同定手段５により、上記画像及び撮像装置位置姿勢記憶手段３に記憶された、それぞれ上記特徴点抽出手段２によって抽出された特徴点の内、上記撮像装置１を用いて異なる位置から撮影した複数フレーム、つまりフレーム１、２の両方に出現している同一の特徴点の同定を行う（ステップＳ１７）。その後、特徴点三次元位置同定手段６により、上記画像及び撮像装置位置姿勢記憶手段３に記憶された、上記撮像装置位置姿勢取得手段４で取得された位置姿勢より、各撮影における上記撮像装置１の相互位置姿勢関係、即ち、複数フレームつまりフレーム１、２の撮像装置１の移動量（２視野の基線長）を算出する（ステップＳ１８）。そして、その求めた相互位置姿勢関係を用いて、撮影した複数の視野つまりフレーム１、２内にある、上記同定された同一特徴点から、上記抽出した特徴点と上記撮像装置１との位置関係を同定して、その抽出特徴点の基準座標系における三次元位置を算出する（ステップＳ１９）。
【００３９】
その後、対応点間三次元誤差計測手段８により、設計情報記憶手段７に記憶されている測定対象物の設計情報と、上記算出された抽出特徴点の基準座標系における三次元位置とから、その抽出特徴点とその特徴点に対応する対象物の設計情報上の対応点との間の基準座標系における三次元誤差を算出する（ステップＳ２０）。
【００４０】
以上のようにして、三次元誤差が測定される。例えば、図２に示すような機械式位置姿勢検出機構によって上記撮像装置位置姿勢取得手段４を構成した場合には、まず、位置Ａにおいて画像を撮影（フレーム１）し、視野内の対象物の実映像１１から特徴点Ｉ〜ＩＶを抽出し、その時のカメラ１０の位置姿勢を検出器４０から得る。次に、カメラ１０を位置Ｂに移動し、同様に撮影（フレーム２）、抽出、位置姿勢取得を行う。今、特徴点Ｉに注目する。両フレームにおいて抽出されている特徴点Ｉが同一点であると判断することで、その両フレームのスクリーン座標（ｕａ，ｖａ），（ｕｂ，ｖｂ）、及び、その時のカメラ位置姿勢Ａ，Ｂを用いることで、特徴点Ｉの検出器４０に対する三次元位置を求めることができる。そして、設計情報より作成された三次元モデル７１上の対応点Ｉ’の座標と上記で求められた特徴点Ｉの座標とを比較することで、三次元誤差測定が行える。
【００４１】
なお、フレーム１とフレーム２とは、連続して撮影するものとしているが、離散的に撮影しておき、後からバッチ処理で誤差を算出することも可能なことは勿論である。
【００４２】
こうして、三次元誤差の測定後、さらに、別方向から見た場合の誤差も測定する場合には（ステップＳ２１）、上記ステップ１６に戻って、撮像装置１をさらに移動させ、その後、上記ステップＳ１１に戻って、上記の動作を繰り返す。但し、この場合には、さらにフレーム３が得られるので、上記フレーム１、２に代えて、フレーム２、３に関して上記の処理が行われることになる。
【００４３】
また、３点以上の特徴点の三次元位置を算出してある場合には（ステップＳ１２）、それら抽出された三次元位置の算出された３点以上の特徴点の三次元座標と撮像装置座標（撮影された画面内でのｕｖ座標）とから、撮像装置１の位置姿勢を算出する（ステップＳ２２）。即ち、撮像装置位置姿勢取得手段４を用いることなく、算出済み特徴点からだけでも、撮像装置１の位置姿勢の算出が可能となる。
【００４４】
勿論、３点以上の特徴点を抽出しているときにも、撮像装置位置姿勢取得手段４を用いても良いし、両手法を組み合わせて使用しても良い。
【００４５】
［第２実施形態］  
次に、本発明の第２実施形態を説明する。
【００４６】
本実施形態は、上記同一特徴点同定手段５において、異なる視野間で抽出特徴点を連続的に追跡する手法を用いて、異なる位置から撮影した視野内の同一の特徴点の同定を行うようにしたものである。
【００４７】
そのような異なる視野間で抽出特徴点を連続的に追跡する手法としては、例えば、ＵＳ ２００２／０１９１８６２ Ａ１公報や、Proc. Of IEEE VRAIS'98 pp148-155 (1998)に開示されているようなＮＦ（自然特徴点）トラッキングの手法が知られている。
【００４８】
このようなＮＦトラッキング手法を用いた場合には、図４の（Ａ）に示すように位置姿勢の既知の形状Ｍを使用し、図４の（Ｂ）に示すような手順で、各特徴点の三次元位置が算出できる。
【００４９】
即ち、まず初期位置１において既知形状Ｍを認識することでカメラ１０の位置姿勢を算出し、その初期位置１から上記既知形状Ｍを画面（視野）に捉えたまま連続的にカメラ１０を移動して行き、位置２に移動したときに、同様に上記既知形状Ｍを認識することで、該位置２におけるカメラ１０の位置姿勢を算出する（ステップＳ１０１）。これら算出した位置１、２におけるカメラ１０の位置姿勢より、位置１と位置２の間の基線長１が推定できるので、三角測量の原理により、連続的に画面に捉えられている図４の（Ａ）に黒丸で示す各特徴点の三次元位置を算出する（ステップＳ１０２）。
【００５０】
その後、その位置２から連続的にカメラ１０を移動して行き、位置３に移動したとき、上記既知形状Ｍを画面に捉えられなくなるが、上記算出された各黒丸特徴点の位置から、そのような既知形状Ｍを画面に捉えない位置３においても、そのカメラ位置姿勢を算出できる（ステップＳ１０３）。よって、位置２と位置３の間の基線長２が算出でき、図４の（Ａ）に白丸で示すような上記位置１では画面に捉えられていなかった特徴点についても三次元位置が算出できる（ステップＳ１０４）。
【００５１】
こうして算出された各特徴点の三次元位置を用いて、上記第１実施形態と同様、対応点間三次元誤差計測手段８によって、設計情報との三次元誤差が算出されることができる。
【００５２】
［第３実施形態］  
次に、本発明の第３実施形態を説明する。
【００５３】
図５は、本第３実施形態に係る三次元誤差測定装置の構成を示すブロック図であり、本実施形態に係る三次元誤差測定装置は、上記第１実施形態に係る三次元誤差測定装置の構成に加えて、対応点抽出手段９を備えていることを特徴とするものである。
【００５４】
この対応点抽出手段９は、上記特徴点三次元位置同定手段６で算出された抽出特徴点に対応する対象物の設計値上の対応点を、上記設計情報記憶手段７に記憶された測定対象物の設計情報から抽出するものである。この対応点の抽出方法には、使用者による人為的な対応付けによる抽出と、形状認識による自動対応付けによる抽出との２種類の方法がある。
【００５５】
まず、使用者による人為的な対応付けによる抽出について説明する。
【００５６】
実際の対象物において、ずれを測定したい箇所は通常、何らかの特徴を持っているはずである。即ち、通常ずれ量を測定したいと思うのは、壁の真中などの特徴の無い部分ではなく、天井や床との境、といった特徴を持つ。よって、その箇所が、例えば上記ＮＦトラッキングのアルゴリズム内で特徴点として抽出されている確率は高い。即ち、アルゴリズム内で特徴点としてあれば、その箇所の基準マーカである既知形状Ｍ（ホームポジション）に対する３Ｄ位置は求まっている。これと設計３Ｄ情報の中の同一点（使用者が指示する）とのずれ（三次元座標値）を求めることが可能になる。具体的には部品の角、先端などを入力装置により指定し、その時の二次元座標（カメラ視野）上で同一の特徴点があれば、その三次元座標値と設計情報より作成される三次元モデル上での三次元座標値とを比較する。
【００５７】
これを図６の（Ａ）のフローチャートを参照して説明する。なお、このフローチャートは、上記第１実施形態におけるステップＳ２０のサブルーチンとして実施できるものである。また、この場合には、対応点抽出手段９は、図示はしないが、表示装置と入力装置とを備えるものである。
【００５８】
即ち、対応点抽出手段９は、上記特徴点三次元位置同定手段６による抽出特徴点の三次元位置算出後、表示装置に、画像及び撮像装置位置姿勢記憶手段３に記憶されている対象物の実映像を表示すると共に、設計情報記憶手段７に記憶されている設計情報より作成される三次元モデルをその実映像に重畳して表示し、その対象物の実映像上の抽出特徴点の内、誤差を求めたい点Ｐを使用者に入力装置によって指定させる（ステップＳ２０Ａ）。例えば、図７に示すように、第１及び第２の対象物についての実映像１１１及び１１２と三次元モデル７１１及び７１２とが重畳表示される。この場合、第１の対象物の実映像１１１と三次元モデル７１１とはずれ無く重なって表示され、よって、実映像１１１上の抽出特徴点Ａの座標（Ｘａ，Ｙａ，Ｚａ）と三次元モデル７１１上の対応点Ａ’の座標（Ｘａ’，Ｙａ’，Ｚａ’）とはずれていない。これに対して、第２の対象物の実映像１１２と三次元モデル７１２とはずれて重ね合っており、よって、実映像１１２上の抽出特徴点Ｂの座標（Ｘｂ，Ｙｂ，Ｚｂ）と三次元モデル７１２上の対応点Ｂ’の座標（Ｘｂ’，Ｙｂ’，Ｚｂ’）とはずれている。そこで、使用者は、その点Ｂの誤差を求めるために、入力装置により実映像１１２上の特徴点Ｂを指定することになる。
【００５９】
次に、対応点抽出手段９は、同様にして、使用者に、設計情報上の対応点Ｐ’を指定させる（ステップＳ２０Ｂ）。即ち、図７の例では、設計情報より作られた三次元モデル７１２上の対応点Ｂ’を指定することになる。
【００６０】
このようにして特徴点Ｐ及び対応点Ｐ’が指定されたならば、該対応点抽出手段９の後段の対応点間三次元誤差計測手段８により、それら指定された特徴点Ｐ（図７の例では特徴点Ｂ）と対応点Ｐ’（図７の例では特徴点Ｂ’）の三次元誤差を算出することになる（ステップＳ２０Ｃ）。
【００６１】
次に、形状認識による自動対応付けによる対応点の抽出方法について説明する。
【００６２】
これは、予め、設計情報上で、求めたい点を指定しておくものである。そして、画像を撮影したときの撮像装置１の位置姿勢から、設計（ＣＡＤ）情報を二次元投影し、設計情報上の求める点の周囲例えば１５×１５画素を抽出して、テンプレートを作成する。その後、撮影画像上を１５×１５画素のウィンドウで比較していき、最も類似度の高い画素を対応点とする。その対応点が抽出特徴点と閾値、例えば２画素以内であれば、設計情報上のその点との位置情報比較を行うものである。
【００６３】
これを、図６の（Ｂ）のフローチャートを参照して説明する。なお、このフローチャートは、上記第１実施形態におけるステップＳ２０のサブルーチンとして実施できるものである。
【００６４】
即ち、対応点抽出手段９は、上記特徴点三次元位置同定手段６による抽出特徴点の三次元位置算出後、１つのフレーム（フレーム１またはフレーム２）における対象物上の抽出特徴点Ｐを含む周辺画素（例えば１５×１５）の特徴度Ｓを計算する（ステップＳ２０ａ）。これは、公知の類似度比較手法である。特徴度Ｓの計算は、ウィンドウ内のアイゲンバリューを求めるものである。
【００６５】
その後、対応点抽出手段９は、設計情報記憶手段７に記憶されている設計情報を上記フレーム１または２における撮像装置位置からから二次元投影する（ステップＳ２０ｂ）。そして、投影画面内の各画素の周辺１５×１５画素のウィンドウ内の特徴度Ｓｎ（ｎは１〜投影画面の画素数）を求め、最も特徴度Ｓに近い特徴度Ｓｎの中央画素を対応特徴点Ｐ’とする（ステップＳ２０ｃ）。
【００６６】
このようにして特徴点Ｐ及び対応点Ｐ’が指定されたならば、該対応点抽出手段９の後段の対応点間三次元誤差計測手段８により、それら指定された特徴点Ｐと対応点Ｐ’の三次元誤差を算出することになる（ステップＳ２０ｄ）。
【００６７】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００６８】
例えば、上記実施形態では誤差量を算出する点を、対象物の角等の抽出特徴点として説明したが、抽出特徴点どうしを線分で結び作成したワイヤフレームモデル上の任意の点と、その点に対応する設計値上の対応点との誤差量を計測可能にしても良い。
【００６９】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【００７０】
（１）  対象物を撮影する撮像装置と、
前記撮像装置で撮影した視野内から特徴点を抽出する手段と、
それぞれ前記特徴点を抽出する手段によって抽出された特徴点から、前記撮像装置を用いて異なる位置から撮影した視野内の同一の特徴点の同定を行う手段と、
少なくとも１つの撮影における基準座標系での前記撮像装置の位置姿勢を取得する手段と、
前記取得された位置姿勢より、各撮影における前記撮像装置の相互位置姿勢関係を求める手段と、
前記相互位置姿勢関係を用いて、撮影した複数の視野内にある、前記同定された同一特徴点から、前記抽出した特徴点と前記撮像装置との位置関係を同定する手段と、
を具備し、
前記同定した位置関係を用いて、前記抽出した特徴点とその特徴点に対応する対象物の設計値上の対応点との間の基準座標系における三次元誤差を計測することを特徴とする三次元誤差測定装置。
【００７１】
（対応する実施形態）  
この（１）に記載の三次元誤差測定装置に関する実施形態は、第１乃至第３実施形態が対応する。  
（作用効果）  
この（１）に記載の三次元誤差測定装置は、同定した抽出特徴点と撮像装置との位置関係を用いて、抽出特徴点とその特徴点に対応する対象物の設計値上の対応点との間の基準座標系における三次元誤差を計測する。  
従って、この（１）に記載の三次元誤差測定装置によれば、撮像装置の位置を自由に移動させて三次元のずれ量の計測を簡易に行うことが可能となる。
【００７２】
（２）  前記撮像装置の位置姿勢を取得する手段は、機械式位置姿勢検出機構によるものであることを特徴とする（１）に記載の三次元誤差測定装置。
【００７３】
（対応する実施形態）  
この（２）に記載の三次元誤差測定装置に関する実施形態は、第１及び第３実施形態が対応する。
【００７４】
（３）  前記撮像装置の位置姿勢を取得する手段は、磁気式位置姿勢検出機構によるものであることを特徴とする（１）に記載の三次元誤差測定装置。
【００７５】
（対応する実施形態）  
この（３）に記載の三次元誤差測定装置に関する実施形態は、第１及び第３実施形態が対応する。
【００７６】
（４）  前記撮像装置の位置姿勢を取得する手段は、光学式位置姿勢検出機構によるものであることを特徴とする（１）に記載の三次元誤差測定装置。
【００７７】
（対応する実施形態）  
この（４）に記載の三次元誤差測定装置に関する実施形態は、第１及び第３実施形態が対応する。
【００７８】
（５）  前記撮像装置の位置姿勢を取得する手段は、前記撮像装置で撮影した画像内に含まれるマーカによるものであることを特徴とする（１）に記載の三次元誤差測定装置。
【００７９】
（対応する実施形態）  
この（５）に記載の三次元誤差測定装置に関する実施形態は、第１乃至第３実施形態が対応する。
【００８０】
（６）  前記抽出した特徴点と前記撮像装置との位置関係を同定する手段は、当該特徴点の基準座標系における三次元位置を算出する手段を含み、
前記撮像装置の位置姿勢を取得する手段は、
前記三次元位置を算出する手段により３点以上の抽出特徴点の三次元位置を取得するまでは、（２）乃至（５）の何れかに記載の手段で前記撮像装置の位置姿勢を取得し、
前記三次元位置を算出する手段により３点以上の抽出特徴点の三次元位置を取得後は、それら抽出された複数の特徴点の三次元位置、更に追加抽出同定された特徴点の三次元位置、（２）乃至（５）の何れかに記載の手段の何れか、またはその組み合わせによって、前記撮像装置の位置姿勢を取得することを特徴とする（２）乃至（５）の何れかに記載の三次元誤差測定装置。
【００８１】
（対応する実施形態）  
この（６）に記載の三次元誤差測定装置に関する実施形態は、第１乃至第３実施形態が対応する。  
（作用効果）  
この（６）に記載の三次元誤差測定装置は、特徴点の基準座標系における三次元位置を算出することで抽出特徴点と撮像装置との位置関係の同定を行い、３点以上の抽出特徴点の三次元位置を取得するまでは（２）乃至（５）の何れかに記載の手段で撮像装置の位置姿勢を取得し、３点以上の抽出特徴点の三次元位置を取得後は、それら抽出された複数の特徴点の三次元位置、更に追加抽出同定された特徴点の三次元位置、（２）乃至（５）の何れかに記載の手段の何れか、またはその組み合わせによって、撮像装置の位置姿勢を取得する。  
従って、３点以上の抽出特徴点の三次元位置を取得後は、必ずしも（２）乃至（５）の何れかに記載の手段の何れかを使用しなくても、撮像装置の位置姿勢を取得することが可能となる。
【００８２】
（７）  前記異なる位置から撮影した視野内の同一の特徴点の同定を行う手段は、異なる視野間で抽出特徴点を連続的に追跡する手段を含むことを特徴とする（１）乃至（６）の何れかに記載の三次元誤差測定装置。
【００８３】
（対応する実施形態）  
この（７）に記載の三次元誤差測定装置に関する実施形態は、第２実施形態が対応する。  
（作用効果）  
この（７）に記載の三次元誤差測定装置は、異なる位置から撮影した視野内の同一の特徴点の同定を、異なる視野間で抽出特徴点を連続的に追跡する手法、例えば、ＮＦトラッキングの手法を用いて行う。
【００８４】
（８）  前記抽出した特徴点に対応する対象物の設計値上の対応点は、使用者が明示的に指定することを特徴とする（１）乃至（７）の何れかに記載の三次元誤差測定装置。
【００８５】
（対応する実施形態）  
この（８）に記載の三次元誤差測定装置に関する実施形態は、第３実施形態が対応する。  
（作用効果）  
この（８）に記載の三次元誤差測定装置は、抽出特徴点に対応する対象物の設計値上の対応点を使用者が明示的に指定するので、使用者が所望する特徴点についての三次元誤差を測定できる。
【００８６】
（９）  前記抽出した特徴点に対応する対象物の設計値上の対応点は、抽出特徴点を含む二次元投影画像において周囲画素を比較し同定することを特徴とする（１）乃至（７）の何れかに記載の三次元誤差測定装置。
【００８７】
（対応する実施形態）  
この（９）に記載の三次元誤差測定装置に関する実施形態は、第３実施形態が対応する。  
（作用効果）  
この（９）に記載の三次元誤差測定装置は、抽出特徴点に対応する対象物の設計値上の対応点を、抽出特徴点を含む二次元投影画像において周囲画素を比較し同定することにより行うので、自動的に行われ、手間がかからない。
【００８８】
（１０）  前記抽出した特徴点に対応する対象物の設計値上の対応点は、抽出特徴点を含む周辺の点の三次元配置を比較し同定することを特徴とする（１）乃至（７）の何れかに記載の三次元誤差測定装置。
【００８９】
（対応する実施形態）  
この（１０）に記載の三次元誤差測定装置に関する実施形態は、第３実施形態が対応する。  
（作用効果）  
この（１０）に記載の三次元誤差測定装置は、抽出特徴点に対応する対象物の設計値上の対応点を、抽出特徴点を含む周辺の点の三次元配置を比較し同定することにより行うので、自動的に行われ、手間がかからない。
【００９０】
（１１）  前記抽出特徴点どうしを線分で結び作成したワイヤフレームモデル上の任意の点と、その点に対応する設計値上の対応点との誤差量を計測可能にする（１）乃至（７）の何れかに記載の三次元誤差測定装置。
【００９１】
（作用効果）  
この（１１）に記載の三次元誤差測定装置は、抽出特徴点どうしを線分で結び作成したワイヤフレームモデル上の任意の点と、その点に対応する設計値上の対応点との誤差量を計測可能にするので、種々の点で誤差を測定できる。
【図面の簡単な説明】
【００９２】
【図１】本発明の第１実施形態に係る三次元誤差測定装置の構成を示すブロック図である。
【図２】機械式位置姿勢検出機構による撮像装置位置姿勢取得手段を示す図である。
【図３】第１実施形態に係る三次元誤差測定装置の動作フローチャートを示す図である。
【図４】（Ａ）は本発明の第２実施形態に係る三次元誤差測定装置による測定の様子を説明するための模式図であり、（Ｂ）は第２実施形態に係る三次元誤差測定装置における三次元位置算出の動作フローチャートを示す図である。
【図５】本発明の第３実施形態に係る三次元誤差測定装置の構成を示すブロック図である。
【図６】（Ａ）及び（Ｂ）はそれぞれ第３実施形態に係る三次元誤差測定装置における三次元誤差算出の動作フローチャートを示す図である。
【図７】第３実施形態に係る三次元誤差測定装置の対応点抽出手段の動作を説明するための表示例を示す図である。
【符号の説明】
【００９３】
１…撮像装置、  ２…特徴点抽出手段、  ３…画像及び撮像装置位置姿勢記憶手段、  ４…撮像装置位置姿勢取得手段、  ５…同一特徴点同定手段、  ６…特徴点三次元位置同定手段、  ７…設計情報記憶手段、  ８…対応点間三次元誤差計測手段、  ９…対応点抽出手段、  １０…カメラ、  １１，１１１，１１２…実映像、  ４０…アーム式位置姿勢検出器、  ７１，７１１，７１２…三次元モデル。
【図１】
2005031044.tif 000003
【図２】
2005031044.tif 000004
【図３】
2005031044.tif 000005
【図４】
2005031044.tif 000006
【図５】
2005031044.tif 000007
【図６】
2005031044.tif 000008
【図７】
2005031044.tif 000009