(57)【要約】【課題】対象物の撮影画像から抽出される形状に基づいて、対象物の撮影画像と当該対象物の設計情報とを位置合わせする位置合わせ装置、位置合わせシステム及び位置合わせプログラムを提供する。【解決手段】位置合わせ装置１は、対象物３を撮影した撮影画像情報１１１から当該対象物３に設けられた孔を選択する特徴点選択受付手段１０１と、特徴点選択受付手段１０１が選択を受け付けた孔の特徴点を抽出する特徴点抽出手段１０２と、対象物３の見本となる対象物三次元情報１１３から特徴点に対応する対応点を選択する対応点選択手段１０３と、対応点を座標変換し、撮影画像の視点と特徴点とを通る直線と、対応点との距離を最小にして、対象物３の撮影画像情報１１１と対象物３の見本となる対象物三次元情報１１３とを位置合わせする位置合わせ手段１０４とを有する。【選択図】図２
2012068062.tif 000002
【特許請求の範囲】
【請求項１】
対象物を撮影した撮影画像から、当該対象物の孔の選択を受け付ける受付手段と、
前記受付手段が選択を受け付けた孔の特徴点を抽出する特徴点抽出手段と、
前記対象物の設計の内容を示す設計情報から前記特徴点に対応する対応点を選択する対応点選択手段と、
前記設計情報に前記対応点の座標を変換する作用素を適用し、前記撮影画像と当該設計情報とを位置合わせする位置合わせ手段とを有する位置合わせ装置。
【請求項２】
前記位置合わせ装置は、さらに、
前記対象物を撮影する撮影手段の視点及び前記特徴点を通る直線と、前記対応点との距離が最小となるように、前記作用素を算出する算出手段、を備えることを特徴とする請求項１に記載の位置合わせ装置。
【請求項３】
前記算出手段は、前記受付手段が選択を受け付けた孔を平面視した形状に対する、前記撮影画像中の当該孔の形状の変化率に応じて、前記視点及び当該孔の特徴点を通る直線と、前記対応点との距離に重み付けし、当該重み付けされた距離が最小となるように、前記対応点の座標を変換する作用素を算出する請求項２に記載の位置合わせ装置。
【請求項４】
前記算出手段は、前記受付手段が選択を受け付けた孔を平面視した形状の面積に対する、前記撮影画像中の当該孔の形状の面積の変化率に応じて、前記視点及び当該孔の特徴点を通る直線と、前記対応点との距離に重み付けし、当該重み付けされた距離が最小となるように、前記対応点の座標を変換する作用素を算出する請求項２に記載の位置合わせ装置。
【請求項５】
前記算出手段は、前記特徴点と前記視点との距離、前記特徴点の前記視点からの視角及び前記特徴点の前記撮影画像における画質の少なくとも１つに応じて、前記撮影画像の視点及び前記特徴点を通る直線と、前記対応点との距離に重み付けし、当該重み付けされた距離が最小となるように、前記対応点の座標を変換する作用素を算出する請求項２に記載の位置合わせ装置。
【請求項６】
前記位置合わせ装置は、さらに、
前記対象物を撮影する撮影手段の視点及び前記特徴点を通る直線と、前記対応点を通る直線との距離が最小となるように、前記対応点の座標を変換する作用素を算出する算出手段、を備えることを特徴とする請求項１に記載の位置合わせ装置。
【請求項７】
前記算出手段は、前記受付手段が選択を受け付けた孔を平面視した形状に対する、前記撮影画像中の当該孔の形状の変化率に応じて、前記視点及び当該孔の特徴点を通る直線と、前記対応点を通る直線との距離に重み付けし、当該重み付けされた距離が最小となるように、前記対応点の座標を変換する作用素を算出する請求項６に記載の位置合わせ装置。
【請求項８】
前記算出手段は、前記受付手段が選択を受け付けた孔を平面視した形状の面積に対する、前記撮影画像中の当該孔の形状の面積の変化率に応じて、前記視点及び当該孔の特徴点を通る直線と、前記対応点を通る直線との距離に重み付けし、当該重み付けされた距離が最小となるように、前記対応点の座標を変換する作用素を算出する請求項６に記載の位置合わせ装置。
【請求項９】
前記算出手段は、前記特徴点と前記視点との距離、前記特徴点の前記視点からの視角及び前記特徴点の前記撮影画像における画質の少なくとも１つに応じて、前記撮影画像の視点及び前記特徴点を通る直線と、前記対応点を通る直線との距離に重み付けし、当該重み付けされた距離が最小となるように、前記対応点を通る直線を変換する作用素を算出する請求項６に記載の位置合わせ装置。
【請求項１０】
コンピュータを、
対象物を撮影した撮影画像から、当該対象物の孔の選択を受け付ける受付手段と、
前記受付手段が選択を受け付けた孔の特徴点を抽出する特徴点抽出手段と、
前記対象物の設計の内容を示す設計情報から前記特徴点に対応する対応点を選択する対応点選択手段と、
前記設計情報に前記対応点の座標を変換する作用素を適用し、前記撮影画像と当該設計情報とを位置合わせする位置合わせ手段として機能させるための位置合わせプログラム。
【請求項１１】
対象物を予め定めた視点から撮影した撮影画像及び前記対象物の見本となる設計情報を格納する記憶装置と、
前記対象物を撮影した撮影画像から、当該対象物の孔の選択を受け付ける受付手段と、前記受付手段が選択を受け付けた孔の特徴点を抽出する特徴点抽出手段と、前記設計情報から前記特徴点に対応する対応点を選択する対応点選択手段と、前記設計情報に前記対応点の座標を変換する作用素を適用し、前記撮影画像と当該設計情報とを位置合わせする位置合わせ手段とを有する位置合わせ装置と、から構成される位置合わせシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置合わせ装置、位置合わせシステム及び位置合わせプログラムに関する。
【背景技術】
【０００２】
対象物の形状から穴や円筒の端点等の部分を抽出する技術が提案されている。
【０００３】
これに関連する技術として、特許文献１には、対象物を撮影した画像から得られるエッジの情報から円となり得る点列の情報を抽出する手段と、当該点列の三次元の位置を計測する手段と、計測した点列の三次元の位置に基づいて点列を含む平面を特定する手段と、特定した平面上で点列の情報に対して円近似を行って、近似した円の中から予め定めた条件を満たすものを選択する手段と、選択された円に関して三次元位置姿勢を検出する手段とを有する三次元位置姿勢装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−３２６３４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、対象物の撮影画像から抽出される形状に基づいて、対象物の撮影画像と当該対象物の設計情報とを位置合わせする位置合わせ装置、位置合わせシステム及び位置合わせプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
［１］対象物を撮影した撮影画像から、当該対象物の孔の選択を受け付ける受付手段と、
前記受付手段が選択を受け付けた孔の特徴点を抽出する特徴点抽出手段と、
前記対象物の設計の内容を示す設計情報から前記特徴点に対応する対応点を選択する対応点選択手段と、
前記設計情報に前記対応点の座標を変換する作用素を適用し、前記撮影画像と当該設計情報とを位置合わせする位置合わせ手段とを有する位置合わせ装置。
【０００７】
［２］前記位置合わせ装置は、さらに、
前記対象物を撮影する撮影手段の視点及び前記特徴点を通る直線と、前記対応点との距離が最小となるように、前記作用素を算出する算出手段、
を備えることを特徴とする請求項１に記載の位置合わせ装置。
【０００８】
［３］前記算出手段は、前記受付手段が選択を受け付けた孔を平面視した形状に対する、前記撮影画像中の当該孔の形状の変化率に応じて、前記視点及び当該孔の特徴点を通る直線と、前記対応点との距離に重み付けし、当該重み付けされた距離が最小となるように、前記対応点の座標を変換する作用素を算出する請求項２に記載の位置合わせ装置。
【０００９】
［４］前記算出手段は、前記受付手段が選択を受け付けた孔を平面視した形状の面積に対する、前記撮影画像中の当該孔の形状の面積の変化率に応じて、前記視点及び当該孔の特徴点を通る直線と、前記対応点との距離に重み付けし、当該重み付けされた距離が最小となるように、前記対応点の座標を変換する作用素を算出する請求項２に記載の位置合わせ装置。
【００１０】
［５］前記算出手段は、前記特徴点と前記視点との距離、前記特徴点の前記視点からの視角及び前記特徴点の前記撮影画像における画質の少なくとも１つに応じて、前記撮影画像の視点及び前記特徴点を通る直線と、前記対応点との距離に重み付けし、当該重み付けされた距離が最小となるように、前記対応点の座標を変換する作用素を算出する請求項２に記載の位置合わせ装置。
【００１１】
［６］前記位置合わせ装置は、さらに、
前記対象物を撮影する撮影手段の視点及び前記特徴点を通る直線と、前記対応点を通る直線との距離が最小となるように、前記対応点の座標を変換する作用素を算出する算出手段、
を備えることを特徴とする請求項１に記載の位置合わせ装置。
【００１２】
［７］前記算出手段は、前記受付手段が選択を受け付けた孔を平面視した形状に対する、前記撮影画像中の当該孔の形状の変化率に応じて、前記視点及び当該孔の特徴点を通る直線と、前記対応点を通る直線との距離に重み付けし、当該重み付けされた距離が最小となるように、前記対応点の座標を変換する作用素を算出する請求項６に記載の位置合わせ装置。
【００１３】
［８］前記算出手段は、前記受付手段が選択を受け付けた孔を平面視した形状の面積に対する、前記撮影画像中の当該孔の形状の面積の変化率に応じて、前記視点及び当該孔の特徴点を通る直線と、前記対応点を通る直線との距離に重み付けし、当該重み付けされた距離が最小となるように、前記対応点の座標を変換する作用素を算出する請求項６に記載の位置合わせ装置。
【００１４】
［９］前記算出手段は、前記特徴点と前記視点との距離、前記特徴点の前記視点からの視角及び前記特徴点の前記撮影画像における画質の少なくとも１つに応じて、前記撮影画像の視点及び前記特徴点を通る直線と、前記対応点を通る直線との距離に重み付けし、当該重み付けされた距離が最小となるように、前記対応点を通る直線を変換する作用素を算出する請求項６に記載の位置合わせ装置。
【００１５】
［１０］コンピュータを、
対象物を撮影した撮影画像から、当該対象物の孔の選択を受け付ける受付手段と、
前記受付手段が選択を受け付けた孔の特徴点を抽出する特徴点抽出手段と、
前記対象物の設計の内容を示す設計情報から前記特徴点に対応する対応点を選択する対応点選択手段と、
前記設計情報に前記対応点の座標を変換する作用素を適用し、前記撮影画像と当該設計情報とを位置合わせする位置合わせ手段として機能させるための位置合わせプログラム。
【００１６】
［１１］対象物を予め定めた視点から撮影した撮影画像及び前記対象物の見本となる設計情報を格納する記憶装置と、
前記対象物を撮影した撮影画像から、当該対象物の孔の選択を受け付ける受付手段と、前記受付手段が選択を受け付けた孔の特徴点を抽出する特徴点抽出手段と、前記設計情報から前記特徴点に対応する対応点を選択する対応点選択手段と、前記設計情報に前記対応点の座標を変換する作用素を適用し、前記撮影画像と当該設計情報とを位置合わせする位置合わせ手段とを有する位置合わせ装置と、
から構成される位置合わせシステム。
【発明の効果】
【００１７】
請求項１、１０又は１１に係る発明によれば、対象物の撮影画像から抽出される形状に基づいて、対象物の撮影画像と当該対象物の設計情報とを位置合わせすることができる。
【００１８】
請求項２に係る発明によれば、本構成を有しない場合と比較して、対象物の撮影画像と当該対象物の設計情報との位置合わせの精度を向上させることができる。
【００１９】
請求項３又は７に係る発明によれば、撮影画像中の対象物の一部分の形状の変化率が大きいほど、対象物の撮影画像と当該対象物の設計情報との位置合わせの重み付けを小さくすることができる。
【００２０】
請求項４又は８に係る発明によれば、撮影画像中の対象物の一部分の形状の面積の変化率が大きいほど、対象物の撮影画像と当該対象物の設計情報との位置合わせの重み付けを小さくすることができる。
【００２１】
請求項５又は９に係る発明によれば、距離が近いほど、視角が小さいほど、撮影画像の状態が良いほど、対象物の撮影画像と当該対象物の設計情報との位置合わせの重み付けを大きくすることができる。
【００２２】
請求項６に係る発明によれば、撮影画像の視点及び特徴点を通る直線と、対応点を通る直線との距離に基づいて、対象物の撮影画像と当該対象物の設計情報とを位置合わせすることができる。
【図面の簡単な説明】
【００２３】
【図１】図１は、本実施形態に係る位置合わせシステムの構成例を示す概略図である。
【図２】図２は、本実施形態に係る位置合わせ装置の構成例を示すブロック図である。
【図３】図３（ａ）は撮影画像情報の内容の一例を示す概略図、図３（ｂ）は撮影情報の内容の一例を示す概略図である。
【図４】図４は、対象物三次元情報の表示画像の一例を示す概略図である。
【図５】図５（ａ）及び（ｂ）は、撮影画像情報の表示画像の一例を示す概略図である。
【図６】図６は、対象物三次元情報の表示画像の一例を示す概略図である。
【図７】図７は、対象三次元情報と対応点との関係を示す概略図である。
【図８】図８は、対応情報の構成の一例を示す概略図である。
【図９】図９は、位置合わせ計算手段の動作例を示す概略図である。
【図１０】図１０は、本実施形態に係る位置合わせ装置の動作例を示すフローチャートである。
【図１１】図１１は、対象三次元情報と対応直線との関係を示す概略図である。
【図１２】図１２は、位置合わせ計算手段の他の動作例を示す概略図である。
【図１３】図１３は、位置合わせ計算手段の他の動作例を示す概略図である。
【図１４】図１４（ａ）及び（ｂ）は、撮影画像情報中の孔の形状を示す概略図である。
【図１５】図１５（ａ）及び（ｂ）は、撮影画像情報の表示画像の一例を示す概略図である。
【図１６】図１６は、対象物三次元情報の表示画像の一例を示す概略図である。
【図１７】図１７は、対象三次元情報と対応点との関係を示す概略図である。
【発明を実施するための形態】
【００２４】
（位置合わせシステムの構成）
図１は、本実施形態に係る位置合わせシステムの構成例を示す概略図である。
【００２５】
この位置合わせシステム５は、位置合わせ装置１と、対象物３を撮影するカメラ２とをＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブル等で接続して構成される。
【００２６】
位置合わせ装置１は、情報を処理するための機能を備えたＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）や記憶部等の電子部品を本体内部に備え、カメラ２で撮影された画像情報を処理する情報処理装置であり、画像を表示する液晶ディスプレイ等の表示部１２、操作内容に応じた操作信号を出力するキーボードやマウス等の操作部１３等を有する。なお、位置合わせ装置１は、例えば、パーソナルコンピュータであり、その他にＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、携帯電話機等を用いることもできる。
【００２７】
カメラ２は、対象物３を撮影方向２０ａ以外にも複数の撮影方向から撮影し、撮影した撮影方向２０ａを撮影画像情報とともに記録し、これらの情報を位置合わせ装置１に送信する。
【００２８】
対象物３は、単一又は複数の面から構成され、それぞれの面に他の部品を固定するためのネジ等を貫通させる孔３１〜３５を有する。なお、対象物３の面を貫通しない穴を有していてもよい。
【００２９】
（位置合わせ装置の構成）
図２は、本実施形態に係る位置合わせ装置１の構成例を示すブロック図である。
【００３０】
位置合わせ装置１は、ＣＰＵ等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やフラッシュメモリ等の記憶媒体であって情報を記憶する記憶部１１と、液晶ディスプレイ等であって文字や画像を表示する表示部１２と、キーボード及びマウス等であって操作内容に応じた操作信号を出力する操作部１３と、カメラ２と情報を送信及び受信する通信部１４とを備える。
【００３１】
なお、位置合わせ装置１は、例えば、パーソナルコンピュータやＰＤＡ、携帯電話等の電子機器であるが、表示部１２や操作部１３を備えないサーバ装置のようなものでもよく、その場合はネットワーク等により接続された端末装置の操作部や表示部がそれらの機能を代替する。
【００３２】
制御部１０は、後述する位置合わせプログラム１１０を実行することで、撮影画像情報受付手段１００、特徴点抽出手段１０２、特徴点選択受付手段１０１、対応点選択手段１０３、位置合わせ手段１０４及び精度計算手段１０５等として機能する。
【００３３】
撮影画像情報受付手段１００は、通信部１４を介してカメラ２で撮影された撮影画像情報１１１及び撮影方法に関する内容を含む撮影情報１１２を受け付けて、記憶部１１に格納する。
【００３４】
特徴点選択受付手段１０１は、撮影画像情報受付手段１００が受け付けた撮影画像情報１１１から、利用者の操作部１３に対する操作内容に応じて、位置合わせに用いる座標点（以降、「特徴点」という。）を抽出するために、撮影画像情報１１１の表示画像中の孔に該当する領域の選択を受け付ける。
【００３５】
特徴点抽出手段１０２は、特徴点選択受付手段１０１が受け付けた撮影画像情報１１１の表示画像中の領域から、孔の重心を特徴点として抽出する。例えば、ネジ孔の中心点を特徴点として抽出する。なお、面に設けられた開口部の形状は真円に限らず、視点に関わらずその中心を一意に定めることができる形状であればよい。また、開口部の形状は閉曲線に限らない。
【００３６】
対応点選択手段１０３は、対象物３を製造するために三次元で記載された設計情報である対象物三次元情報１１３から、利用者の操作部１３に対する操作に応じて、特徴点抽出手段１０２が抽出した特徴点に対応する対応点を選択する。
【００３７】
位置合わせ手段１０４は、特徴点と対応点との距離の差を最小にするような対応点に対する変換行列を計算して求め、その変換行列によって撮影画像情報１１１と対象物三次元情報１１３とを位置合わせする。変換行列は３次元位置を平行移動・回転・拡大縮小させる行列である。なお、位置合わせは、行列に限らず３次元位置を平行移動・回転・拡大縮小させる作用素であればよい。
【００３８】
精度計算手段１０５は、位置合わせされた撮影画像情報１１１及び対象物三次元情報１１３の形状の誤差を精度として計算する。
【００３９】
記憶部１１は、制御部１０を上述した各手段１００〜１０５として動作させる位置合わせプログラム１１０、カメラ２で撮影された対象物３の画像情報である撮影画像情報１１１、撮影を行ったときのカメラ２の姿勢等の情報を含む撮影情報１１２、対象物３を製造するために三次元で記載された設計情報である対象物三次元情報１１３及び特徴点と対応点との対応関係の情報である対応情報１１４等を記憶する。
【００４０】
図３（ａ）は撮影画像情報の内容の一例を示す概略図、図３（ｂ）は撮影情報の内容の一例を示す概略図である。
【００４１】
図３（ａ）に示す撮影画像情報１１１ａは、後述する図３（ｃ）に示す撮影情報１１２に示すようにカメラ２によって撮影方向２０ａから対象物３を撮影した撮影画像情報である。
【００４２】
図３（ｂ）に示す撮影画像情報１１１ｂは、図３（ｃ）に示す撮影情報１１２に示すようにカメラ２によって撮影方向２０ｂから対象物３を撮影した撮影画像情報である。
【００４３】
図３（ｃ）に示す撮影情報１１２は、カメラ２で生成される撮影画像情報の識別子が記録される撮影画像情報欄及び撮影画像情報の撮影方向が記録される撮影方向欄等を有する。
【００４４】
図４は、対象物三次元情報１１３の表示画像の一例を示す概略図である。
【００４５】
対象物三次元表示画像１１３Ａは、対応点選択手段１０３によって対象物三次元情報１１３を再生することで表示画面１２０に表示される画像である。対象物三次元表示画像１１３Ａは、操作部１３に対する利用者の操作内容に応じてその表示内容を拡大・縮小や回転等されるものであってもよい。
【００４６】
（位置合わせ装置の動作）
以下に、位置合わせ装置１の動作例を図１〜図８を参照しつつ、（１）基本動作、（２）特徴点抽出動作、（３）対応点選択動作、（４）位置合わせ動作に分けて説明する。
【００４７】
（１）基本動作
まず、利用者は、カメラ２によって複数の撮影方向から対象物３を撮影する。撮影した撮影画像情報１１１及び付随する撮影情報１１２は、カメラ２の記憶部に格納される。
【００４８】
利用者は、位置合わせ装置１の操作部１３を操作してカメラ２との通信を指示する。操作部１３は、操作に応じて操作信号を出力する。
【００４９】
位置合わせ装置１は、操作部１３から操作信号を受信するとカメラ２と通信部１４を介して通信を開始する。次に、撮影画像情報受付手段１００は、カメラ２の記憶部から撮影画像情報１１１及び撮影情報１１２を受け付けて記憶部１１に格納する。なお、撮影画像情報受付手段１００は、カメラ２以外の外部装置から予め撮影された撮影画像情報１１１及び撮影情報１１２を受け付けてもよい。
【００５０】
次に、利用者が操作部１３を介して記憶部に格納された撮影画像情報１１１と対象物三次元情報１１３との位置合わせを要求すると、位置合わせ装置１の特徴点選択受付手段１０１は、まず、撮影画像情報１１１を再生して表示画像を表示部１２に表示する。
【００５１】
図５（ａ）及び（ｂ）は、撮影画像情報の表示画像の一例を示す概略図である。
【００５２】
特徴点選択受付手段１０１は、図５（ａ）に示すように、表示画面１２０に撮影方向２０ａから撮影された撮影画像情報１１１ａと、操作部１３の出力する操作信号に応じて動作するカーソル１０１ａとを表示する。
【００５３】
（２）特徴点選択動作
利用者は、図５（ａ）に示す表示画面１２０を参照して、操作部１３を介してカーソル１０１ａをドラッグ操作し、ドラッグ操作により表示される選択枠１０１ｂによって使用する孔（ネジ穴）を選択する。
【００５４】
図１０は、本発明の実施形態に係る位置合わせ装置１の動作例を示すフローチャートである。
【００５５】
特徴点選択受付手段１０１は、上記操作により選択された図５（ａ）に示す選択枠１０１ｂによる選択を受け付け、選択枠１０１ｂ内の特徴点を抽出するよう、特徴点抽出手段１０２に指示する。
【００５６】
特徴点抽出手段１０２は、選択枠１０１ｂ内の撮影画像情報１１１ａを画像解析処理し、ネジ穴に相当する画像領域の中心を特徴点３１ａとして抽出する（Ｓ１）。なお、特徴点は、ネジ穴（孔）の中心に限らず、ネジ穴（孔）の形状の重心等でもよい。
【００５７】
特徴点選択受付手段１０１は、特徴点抽出手段１０２が抽出した特徴点３１ａを記憶部１１の対応情報１１４に書き込む。
【００５８】
（３）対応点選択動作
【００５９】
次に、対応点選択手段１０３は、対象物三次元情報１１３を再生して対象物三次元表示画像１１３Ａを表示部１２に表示する。
【００６０】
図６は、対象物三次元表示画像１１３Ａの一例を示す概略図である。
【００６１】
対応点選択手段１０３は、図６に示すように、表示画面１２０に対象物三次元表示画像１１３Ａと、操作部１３の出力する操作信号に応じて動作するカーソル１０３ａとを表示する。
【００６２】
利用者は、図６に示す表示画面１２０を参照して、ステップＳ１で選択した特徴点３１ａに対応する対応点をカーソル１０３ａによって選択するよう操作部１３を操作する。
【００６３】
対応点選択手段１０３は、操作部１３から上記操作内容に応じた操作信号を受信すると、対象物三次元情報１１３に定義された対応点４１ａを選択する（Ｓ２）。なお、対応点４１ａは、以下に示すように定義されているものとする。
【００６４】
図７は、対象三次元情報と対応点との関係を示す概略図である。
【００６５】
対象物三次元情報１１３において孔４１は元々、円筒形状により定義されているため、対応点選択手段１０３は、円筒の上面及び低面の中心を対応点４１ａ及び４１ｂとして定義する。なお、図６のカーソル１０３ａによって対応点４１ａ又は４１ｂが選択される場合は、表示上の視点から近いもの、図６の例では対応点４１ａを選択し、対応情報１１４に書き込む。
【００６６】
次に、以上のステップＳ１によって書き込まれた特徴点及びＳ２によって書き込まれた対応点から対応情報１１４が作成される。
【００６７】
図８は、対応情報１１４の構成の一例を示す概略図である。
【００６８】
対応情報１１４は、特徴点を識別する識別子を示す特徴点ＩＤ欄と、特徴点が選択された撮影画像情報１１１の撮影方向を示す撮影方向欄と、選択された特徴点（座標）を示す特徴点欄と、撮影方向を定義する視点と特徴点とを通る特徴直線を示す特徴直線欄と、特徴点に対応させた対応点を示す対応点欄とを有する。
【００６９】
撮影方向欄及び特徴点欄は、上記したように特徴点抽出手段１０２によって入力され、対応点欄は、対応点選択手段１０３によって入力される。なお、特徴直線欄の特徴直線は、撮影方向欄の撮影方向の視点（視点ａ又はｂ）と、特徴点欄の特徴点とを通る直線であり、次に説明する位置合わせ手段１０４によって算出される。
【００７０】
次に、位置合わせ手段１０４は、対応情報１１４の情報が位置合わせをするのに十分な数だけ入力されたか確認し、十分であるとき（Ｓ３；Ｙｅｓ）、例えば、本実施の形態においては特徴点と対応点との組み合わせが３以上であるとき、（４）位置合わせ動作を実行する。また、対応情報１１４の情報が十分でないとき（Ｓ３；Ｎｏ）、ステップＳ１及びＳ２を繰り返す。
【００７１】
（４）位置合わせ動作
図９は、位置合わせ手段１０４の動作例を示す概略図である。
【００７２】
位置合わせ手段１０４は、以下に示す式の値が最小となる変換行列Ｔを求める。
【数１】
2012068062.tif 000003
【００７３】
なお、ｐｉは対応点の座標、視点ａ又はｂと特徴点とを通るｌｉは特徴直線、ｆ（ｘ，ｙ）は点ｘと直線ｙとの距離である。
【００７４】
つまり、対応情報１１４のうち、図９に示す特徴直線５１ａ、５２ａ、５５ａ、５２ｂ、５５ｂ…と、それぞれ対応した対応点４１ａ、４２ａ、４５ａ、４２ａ、４５ａ…を変換行列Ｔで回転した点との距離の和が最小となるようなＴを求める。
【００７５】
次に、精度計算手段１０５は、変換行列Ｔを求めた後、変換行列Ｔによって回転された対象物三次元情報１１３に対する対象物３とを比較し、対象物３の形状の工作精度等を計算する。また、精度計算手段１０５は、上記式［１］の値から対象物三次元情報１１３に対する対象物３の孔３１〜３５の位置精度を計算してもよい。
【００７６】
［変形例１］
（４−１）位置合わせ動作
なお、位置合わせ手段１０４は、図７に示すように対応点４１ａ又は４１ｂの利用者の選択ミスを考慮して全ての対応点について式［１］を計算してもよい。
【００７７】
つまり、以下に示す色の値が最小となる変換行列Ｔを求める。
【数２】
2012068062.tif 000004
【００７８】
なお、ｐｉｊは対応点の座標であり、ｊ＝１、２の場合はそれぞれ図７に示す対応点４１ａ、４１ｂに対応する。
【００７９】
［変形例２］
図１１は、対象三次元情報と対応直線との関係を示す概略図である。
【００８０】
対応点選択手段１０３は、上記実施の形態において図７に示す対象物三次元情報１１３から孔４１を形成する円筒の上面及び低面の中心である対応点４１ａ及び４１ｂによって孔４１を定義したが、変形例として対応点４１ａ又は４１ｂの選択ミスがなくなるように対応点４１ａ及び４１ｂの２点を通る対応直線６１によって定義してもよい。
【００８１】
つまり、上記したステップＳ２において、対応点選択手段１０３は、操作部１３から操作信号を受信すると、対象物三次元情報１１３に定義された対応直線６１を選択する。
【００８２】
（４−２）位置合わせ動作
位置合わせ手段１０４は、選択された対応直線を用いて以下に説明する計算を行う。
【００８３】
図１２は、位置合わせ手段１０４の他の動作例を示す概略図である。
【００８４】
位置合わせ手段１０４は、以下に示す式の値が最小となる変換行列Ｔを求める。
【数３】
2012068062.tif 000005
【００８５】
なお、孔に定義される２点の対応点を通るｈｉは対応直線、ｌｉは特徴直線、ｇ（ｘ，ｙ）は直線ｘと直線ｙとの距離である。
【００８６】
つまり、対応情報１１４のうち、図１２に示す特徴直線５１ａ、５２ａ、５５ａ、５２ｂ、５５ｂ…と、それぞれ対応した対応直線６１、６２、６５、６２、６５…を変換行列Ｔで回転した直線との距離の和が最小となるようにする。
【００８７】
なお、式［３］を用いた位置合わせ計算において、ステップＳ３の対応直線の数が十分か否かの判断は、全ての対応直線が平行でない場合は２つ以上であればよい。また、対応直線が平行である場合は、３つ以上であればよいが、平行である場合は、以下に示すように対応直線方向に自由度があり、位置合わせができない。
【００８８】
（４−３）位置合わせ動作
図１３は、位置合わせ手段１０４の他の動作例を示す概略図である。
【００８９】
位置合わせ手段１０４は、対応直線６６〜６８がそれぞれ平行であるとき、式［３］の値が最小であっても、撮影画像情報１１１と対象物三次元情報１１３との位置合わせには相対的に対応直線６６〜６８の方向に自由度が生じる。
【００９０】
そのため、位置合わせ手段１０４は、対応直線６６〜６８と平行でない対応直線を有する他の孔が存在する場合は、表示部１２にメッセージ等を表示して他の孔を選択するよう利用者に対して要求する。
【００９１】
また、対象物三次元表示画像１１３Ａにおいて、利用者の操作に応じて自由度のある対応直線６６〜６８の方向にのみ対象物を平行移動可能とし、利用者の目視で位置合わせをするよう要求してもよい。
【００９２】
また、対応直線に加えて、さらに特徴点と対応点の対を指定するよう利用者に要求し、以下の式の値が最小となる変数aを求めてもよい。
【数４】
2012068062.tif 000006
【００９３】
なお、ａは変数、ｈは平行な対応直線の方向を表すベクトルである。
【００９４】
［変形例３］
（４−４）位置合わせ動作
図１４（ａ）及び（ｂ）は、撮影画像情報１１１中の孔の形状を示す概略図である。
【００９５】
孔３１Ａ及び３１Ｂは、それぞれ異なる撮影方向から対象物３の孔３１を撮影したものである。
【００９６】
特徴点抽出手段１０２は、孔３１Ａ及び３１Ｂから特徴点を抽出するが、孔３１Ａのように真円に近い程その特徴点の抽出精度は高く、孔３１Ｂのように楕円の長軸と短軸との差が大きい程精度が低くなる。また、撮影画像情報１１１の視点から孔３１Ａ及び３１Ｂへの距離が大きいほど特徴点の抽出精度は低くなる。さらに、孔３１Ａ及び３１Ｂに画像のピントが合っておらず不鮮明な場合も抽出精度は低くなる。
【００９７】
そのため、位置合わせ手段１０４は、撮影画像情報１１１中の孔の形状、視点からの距離、画像の鮮明さ等に応じた係数ｗｉを式［１］に乗じて重み付けし、以下の式を最小にする変換行列Ｔを求める。
【数５】
2012068062.tif 000007
【００９８】
［変形例４］
図１０におけるステップＳ３において、対応点の数が十分でない場合（Ｓ３；Ｎｏ）、ステップＳ１及びＳ２を繰り返すが、対象物３の孔の数が十分でない場合や、孔の数が十分（Ｓ３；Ｙｅｓ）だが孔の位置が対称的である場合は、一意的に定まる位置合わせ計算を行うことができない。
【００９９】
そのため、位置合わせ手段１０４は、孔から抽出される特徴点及びそれに対応する対応点に加え、対象物の形状等から抽出される特徴点及びその特徴点に対応する対応点の選択を利用者に要求する。
【０１００】
（２−５）特徴点抽出動作
図１５（ａ）及び（ｂ）は、撮影画像情報の表示画像の一例を示す概略図である。
【０１０１】
利用者は、図１５（ａ）に示す表示画面１２０を参照して、操作部１３を介してカーソル１０１ａをドラッグ操作し、ドラッグ操作により表示される選択枠１０１ｂによって使用する特徴点を選択する。
【０１０２】
特徴点選択受付手段１０１は、操作部１３から上記操作に応じた操作信号を受信すると、図１５（ａ）に示す選択枠１０１ｂ内の特徴点を抽出するよう、特徴点抽出手段１０２に指示する。
【０１０３】
特徴点抽出手段１０２は、選択枠１０１ｂ内の撮影画像情報１１１ｃを画像解析処理し、例えば、角形状等を特徴点７１として抽出する。
【０１０４】
（３−５）対応点選択動作
【０１０５】
次に、対応点選択手段１０３は、対象物三次元表示画像を表示部１２に表示する。
【０１０６】
図１６は、対象物三次元表示画像の一例を示す概略図である。
【０１０７】
対応点選択手段１０３は、図１６に示すように、表示画面１２０に対象物三次元表示画像１１３Ｂと、操作部１３の出力する操作信号に応じて動作するカーソル１０３ａとを表示する。
【０１０８】
利用者は、図１６に示す表示画面１２０を参照して、選択した特徴点７１に対応する対応点をカーソル１０３ａによって選択するよう操作部１３を操作する。
【０１０９】
対応点選択手段１０３は、操作部１３から上記操作内容に応じた操作信号を受信すると、対象物三次元情報１１３に定義された対応点８１を選択する。
（４−５）位置合わせ動作
位置合わせ手段１０４は、上記（２−５）特徴点選択動作及び（３−５）対応点選択動作で選択した特徴点７１及び対応点８１を用いて、以下に示す式の値が最小となる変換行列Ｔを求める。
【数６】
2012068062.tif 000008
【０１１０】
なお、ｑｋは対象物３の角の対応点８１の座標、ｍｋは対象物３の角の特徴点７１と視点を通る特徴直線、ｗ１及びｗ２は重み付けの係数である。なお、抽出精度が角形状に比べて孔形状の方が高い点からｗ１を大きくすることが望ましい。
【０１１１】
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々な変形が可能である。例えば、図１７に示すように、特徴点抽出手段１０２は、楕円形状の孔３９から最も外側のエッジを抽出してその重心を特徴点３９ａとして抽出してもよいし、突起形状の中心又は重心を特徴点として抽出してもよい。また、位置合わせ計算手段は、対象物３の孔が誤った位置に設けられていた場合に、Ｔｈｏｍｐｓｏｎの棄却検定等の手法を用いて誤った位置に設けられた孔を式［１］〜式［６］のｐｉ、ｌｉ、ｈｉから除外してもよい。
【０１１２】
また、上記位置合わせプログラム１１０をＣＤ−ＲＯＭ等の記憶媒体に格納して提供することも可能であり、インターネット等のネットワークに接続されているサーバ装置等から装置内の記憶部にダウンロードしてもよい。また、撮影画像情報受付手段１００、特徴点抽出手段１０２、特徴点選択受付手段１０１、対応点選択手段１０３、位置合わせ手段１０４及び精度計算手段１０５の一部又は全部をＡＳＩＣ等のハードウェアによって実現してもよい。なお、上記実施の形態の動作説明で示した各ステップは、順序の変更、ステップの省略、追加が可能である。
【符号の説明】
【０１１３】
１…位置合わせ装置、２…カメラ、３…対象物、５…位置合わせシステム、１０…制御部、１１…記憶部、１２…表示部、１３…操作部、１４…通信部、２０ａ、２０ｂ…撮影方向、１００…撮影画像情報受付手段、１０１…特徴点選択受付手段、１０２…特徴点抽出手段、１０３…対応点選択手段、１０４…計算手段、１０５…精度計算手段、１１０…位置合わせプログラム、１１１…撮影画像情報、１１２…撮影情報、１１３…対象物三次元情報、１１４…対応情報、１２０…表示画面
【図１】
2012068062.tif 000009
【図２】
2012068062.tif 000010
【図３】
2012068062.tif 000011
【図４】
2012068062.tif 000012
【図５】
2012068062.tif 000013
【図６】
2012068062.tif 000014
【図７】
2012068062.tif 000015
【図８】
2012068062.tif 000016
【図９】
2012068062.tif 000017
【図１０】
2012068062.tif 000018
【図１１】
2012068062.tif 000019
【図１２】
2012068062.tif 000020
【図１３】
2012068062.tif 000021
【図１４】
2012068062.tif 000022
【図１５】
2012068062.tif 000023
【図１６】
2012068062.tif 000024
【図１７】
2012068062.tif 000025