(57)【要約】【課題】単眼カメラで簡便に精度よく、被計測対象上の特徴点の３次元位置座標を得て、３次元形状計測ができる３次元形状位置計測装置，３次元形状位置計測処理方法および３次元形状位置計測処理プログラムを提供する。【解決手段】ポイントレーザー若しくはラインレーザーを照射する照射光源を有する照射手段が固定された単眼の撮像装置を有し、照射光源からの照射光を４箇所に基準点（但し、該４箇所の基準点のうち任意の３箇所の基準点が一直線上に存在しないもの）を有する校正プレートに照射し、校正プレートを移動させるか、撮像装置を移動させて、撮影した２箇所の画像から、各画像での照射光源の照射位置の３次元座標を算出し、照射光の方向ベクトル又は平面の方程式を算出する。【選択図】図８
2013122434.tif 000002
【特許請求の範囲】
【請求項１】
ポイントレーザー若しくはラインレーザーを照射する照射光源を有する照射手段が固定された単眼の撮像装置を有し、
前記照射光源からの照射光を４箇所に基準点（但し、該４箇所の基準点のうち任意の３箇所の基準点が一直線上に存在しないもの）を有する校正プレートに照射し、
前記校正プレートを移動させるか、前記撮像装置を移動させて、撮影した２箇所の画像から、各画像での前記照射光源の照射位置の３次元座標を算出し、照射光の方向ベクトル又は平面の方程式を算出することを特徴とする３次元形状位置計測装置。
【請求項２】
算出した方向ベクトル又は平面の方程式を用いて、任意の撮像画像中のポイントレーザー若しくはラインレーザーの被照射物体の３次元座標或いは３次元形状を算出することを特徴とする請求項１に記載の３次元形状位置計測装置。
【請求項３】
前記撮像装置がビデオ撮影し得るものであり、
前記校正プレートをビデオ撮像の各画像に有するようにし、各画像で得た前記照射光源の照射位置の３次元座標を前記校正プレートの基準点を用いて同一の座標系にすることにより、前記撮像装置を移動することで、ポイントレーザー若しくはラインレーザーの被照射物体の計測対象面の位置情報を算出することを特徴とする請求項１に記載の３次元形状位置計測装置。
【請求項４】
ポイントレーザー若しくはラインレーザーを照射する照射光源を有する照射手段が固定された単眼のカメラ手段と、
少なくとも演算手段と記憶手段とデータ転送手段とを備えた情報演算端末と、
を備え、
前記記憶手段が、
算出された前記カメラ手段の内部標定要素と、校正プレート上の４箇所の基準点（但し、該４箇所の基準点のうち任意の３箇所の基準点が一直線上に存在しないもの）の実座標と、
を予め記憶し、
前記データ転送手段が、
前記カメラ手段を用いて撮影された校正プレート上の４箇所の基準点と、校正プレート上に照射したポイントレーザー又はラインレーザーとをカメラ視野内に含む少なくとも２枚の撮像画像を取り込み、
前記演算手段が、
取り込んだ撮像画像上の前記基準点のカメラビュー座標について、前記内部標定要素に基づき撮像画像上の歪みを補正し、
歪み補正された前記基準点のカメラビュー座標と前記実座標とから、画像撮影時の校正プレートを基準とした座標系におけるカメラ位置およびカメラ角度を算出し、
取り込んだ少なくとも２枚の撮像画像上のポイントレーザーの照射ポイントのカメラビュー座標と前記実座標とから、画像撮影時の校正プレートを基準とした座標系における前記照射光源の照射位置の３次元座標およびポイントレーザーの方向ベクトルを算出し、
或いは、取り込んだ少なくとも２枚の撮像画像上のラインレーザーの照射ライン上の２点のカメラビュー座標と前記実座標とから、画像撮影時の校正プレートを基準とした座標系における前記照射光源の照射位置の３次元座標およびラインレーザーの平面の方程式を算出し、
算出した画像撮影時のカメラ位置およびカメラ角度が基準位置および基準角度となるような座標変換および上記のポイントレーザーの方向ベクトル又はラインレーザーの平面の方程式を用いて、カメラ基準の座標系における任意の撮像画像中のポイントレーザー若しくはラインレーザーの被照射物体の３次元座標或いは３次元形状を算出する、
ことを特徴とする３次元形状位置計測装置。
【請求項５】
前記データ転送手段において、校正プレート上に照射したポイントレーザー又はラインレーザーをカメラ視野内に含む少なくとも２枚の撮像画像を取り込む場合、
前記カメラ手段と前記校正プレートの何れかを固定し、他方を移動させて、前記カメラ手段と前記校正プレートの間の距離が異なる撮像画像を取り込む、
ことを特徴とする請求項４に記載の３次元形状位置計測装置。
【請求項６】
前記カメラ手段が赤外線カメラであり、
前記ポイントレーザー若しくはラインレーザーが赤外線レーザーである、
ことを特徴とする請求項１又は４に記載の３次元形状位置計測装置。
【請求項７】
前記カメラ手段がフラッシュ装置外付けタイプのディジタルカメラであり、
前記照射手段が、前記ディジタルカメラのフラッシュ装置の取付治具を介して脱着可能に固定された、
ことを特徴とする請求項１〜６のいずれかに記載の３次元形状位置計測装置。
【請求項８】
ポイントレーザー若しくはラインレーザーを照射する照射光源を有する照射手段が固定された単眼のカメラ手段を用いて被計測対象物を写真計測する方法であって、
１）前記カメラ手段の内部標定要素を読込むステップと、
２）校正プレート上の４箇所の基準点（但し、該４箇所の基準点のうち任意の３箇所の基準点が一直線上に存在しないもの）の実座標を読込むステップと、
３）前記カメラ手段を用いて撮影された校正プレート上の４箇所の基準点と、校正プレート上に照射したポイントレーザー又はラインレーザーとをカメラ視野内に含む少なくとも２枚の撮像画像を取り込むステップと、
４）取り込んだ画像上の前記基準点のカメラビュー座標について、前記内部標定要素に基づき撮像画像上の歪みを補正するステップと、
５）歪み補正された前記基準点のカメラビュー座標と前記実座標とから、画像撮影時の校正プレートを基準とした座標系におけるカメラ位置およびカメラ角度を算出するステップと、
６−１）取り込んだ少なくとも２枚の撮像画像上のポイントレーザーの照射ポイントのカメラビュー座標と前記実座標とから、画像撮影時の校正プレートを基準とした座標系における前記照射光源の照射位置の３次元座標およびポイントレーザーの方向ベクトルを算出するステップ、
或いは、
６−２）取り込んだ少なくとも２枚の撮像画像上のラインレーザーの照射ライン上の２点のカメラビュー座標と前記実座標とから、画像撮影時の校正プレートを基準とした座標系における前記照射光源の照射位置の３次元座標およびラインレーザーの平面の方程式を算出するステップと、
７）算出した画像撮影時のカメラ位置およびカメラ角度が基準位置および基準角度となるような座標変換および上記のポイントレーザーの方向ベクトル又はラインレーザーの平面の方程式を用いて、カメラ基準の座標系における任意の撮像画像中のポイントレーザー若しくはラインレーザーの被照射物体の３次元座標或いは３次元形状を算出するステップと、
を備えることを特徴とする３次元形状位置計測処理方法。
【請求項９】
上記３）のカメラ視野内に含む少なくとも２枚の撮像画像を取り込むステップは、
前記カメラ手段と前記校正プレートの何れかを固定し、他方を移動させ、前記カメラ手段と前記校正プレートの間の距離が異なる撮像画像を取り込むステップである、
ことを特徴とする請求項８に記載の３次元形状位置計測処理方法。
【請求項１０】
請求項８又は９の３次元形状位置計測処理方法の各ステップを、コンピュータに実行させるための３次元形状位置計測処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レーザーを用いた単眼カメラによる画像計測技術に関するものである。
【背景技術】
【０００２】
従来のカメラ画像計測は、単眼カメラで多くの視点から撮影した画像に基づいて、バンドル計算を行い対象点の位置を算出するバンドル計算方式や、予め位置を固定した２台のカメラで測定するステレオカメラ方式が用いられている。バンドル計算方式の場合は、被計測対象に多数のターゲットを貼った状態で撮影することが行われるために計測の手間がかかるといった問題があり、また長さや間隔などの距離を必要とする場合にはスケールバーなどが必要であった。
【０００３】
一方、ステレオカメラ方式の場合は、異なるアングルから撮影した２枚の写真の対応点を指定することにより、被計測対象上のポイントの３次元座標を知ることができるものである。２枚の写真の対応点像は写真上の異なる点に写るので、それぞれの像で写真上の位置の違い（視差）を測ることができ、この視差には距離の情報が含まれていることから、長さや間隔などの距離を自動的に算出することができる。
しかし、ステレオカメラ方式の場合、カメラが固定しているために、撮影範囲が限定され、また自由な方向から撮影することが困難である。更に、ステレオカメラ方式の場合は、装置自体も別に作製する必要があるため、カメラ１台のバンドル計算方式に比べて費用が高くつく欠点がある。
【０００４】
また、単眼のカメラ画像から同一平面上に位置する任意の同一平面上に存在する測量点の座標を算出する写真測量方法が知られている（特許文献１）。特許文献１の写真測量は、１の観測点からカメラにより被写体を撮影し、被写体の特定平面上にある３つの参照点の距離を予め巻き尺等で測定し、単一のカメラ画像から被写体の構成部分の特定平面上に位置する任意の測量点の２次元座標が算出するものである。この方法は、参照点と測量点が、同一平面上に存在し、単一のカメラ画像から同一平面上の任意の測量点を簡易に測量するもので、構造物の壁面等の測量に適している方法として知られている。
また、カメラとレーザーを用いて３次元計測を行う方法は数多く知られている（例えば、特許文献２）。
【０００５】
しかし、特許文献１の写真測量方法によれば、参照点と測量点が同一平面上に存在することが要求されるため、参照点と測量点を自由に選択することができないという問題がある。立体的構造を成す製品を、単眼カメラで写真測量する場合、製品の形状の特徴にもよるが、参照点や測量点は必ずしも同一平面に存在しないことが多い。
また、特許文献２に開示されている３次元形状計測方法及びその装置などカメラとレーザーを用いた３次元計測の殆どが固定型の装置であり、簡便で実用的なものが見当たらない。
【０００６】
現状、単眼カメラを用いた計測では、奥行き情報が精度よく取得できないことから、単眼カメラに距離測定のためのレーザーを利用しているケースが殆どである。
かかる状況下、生産ラインでの物体の３次元位置の認識や、物体の位置出しや追跡など、単眼カメラで精度良く計測を行うことができる計測技術が求められている。
また、建設現場や工場の作業現場で、簡便に精度良く計測を行うことができる計測技術が求められている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−１７７０１７号公報
【特許文献２】国際公開パンフレットＷＯ２００６／０１３６３５
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記状況に鑑みて、本発明は、単眼カメラで簡便に精度よく、被計測対象上の特徴点の３次元座標を得て、３次元形状計測ができる３次元形状位置計測装置，３次元形状位置計測処理方法および３次元形状位置計測処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成すべく、本発明の３次元形状位置計測装置は、ポイントレーザー若しくはラインレーザーを照射する照射光源を有する照射手段が固定された単眼の撮像装置を有し、照射光源からの照射光を４箇所に基準点（但し、該４箇所の基準点のうち任意の３箇所の基準点が一直線上に存在しないもの）を有する校正プレートに照射し、校正プレートを移動させるか、前記撮像装置を移動させて、撮影した２箇所の画像から、各画像での前記照射光源の照射位置の３次元座標を算出し、照射光の方向ベクトル又は平面の方程式を算出することを特徴とする。
【００１０】
また、上記の本発明の３次元形状位置計測装置において、算出した方向ベクトル又は平面の方程式を用いて、任意の撮像画像中のポイントレーザー若しくはラインレーザーの被照射物体の３次元座標或いは３次元形状を算出することを特徴とする。
【００１１】
本発明の３次元形状位置計測装置は、ポイントレーザー又はラインレーザーの照射手段と単眼カメラの撮像装置からなり、照射光が当った被照射対象物の表面の３次元位置を画像上から計算するものである。まず、４箇所に基準点を有する校正プレート上に、ポイントレーザー又はラインレーザーの照射光を照射し、撮像装置と校正プレート間の距離を変えて２箇所以上で撮影した画像毎に照射位置を計算し、２箇所以上のデータから照射光の方向ベクトル又は平面の方程式を得る。これにより、校正プレートを含まない任意の撮像画像中のポイントレーザー又はラインレーザーの照射位置の３次元座標を計算することができる。
【００１２】
また、上記の本発明の３次元形状位置計測装置において、上記の撮像装置がビデオ撮影し得るものであり、上記の校正プレートをビデオ撮像の各画像に有するようにし、各画像で得た照射光源の照射位置の３次元座標を校正プレートの基準点を用いて同一の座標系にすることにより、撮像装置を移動することで、ポイントレーザー若しくはラインレーザーの被照射物体の計測対象面の位置情報を算出することを特徴とする。
【００１３】
単眼カメラの撮像装置はビデオ機能を備えるか、単眼のビデオカメラである場合、校正プレートをビデオ撮像の各画像に有するように撮影することで、各画像で得た照射光源の照射位置の３次元座標を校正プレートの基準点を用いて同一の座標系にすることができる。これにより、撮像装置を移動することで、ポイントレーザー若しくはラインレーザーの被照射物体の計測対象面の位置情報を算出することができる。
【００１４】
また、本発明の他の観点の３次元形状位置計測装置は、下記（１）と（２）を備える。
（１）ポイントレーザー若しくはラインレーザーを照射する照射光源を有する照射手段が固定された単眼のカメラ手段
（２）少なくとも演算手段と記憶手段とデータ転送手段とを備えた情報演算端末
そして、上記（２）の情報演算端末における記憶手段が、算出された前記カメラ手段の内部標定要素と、校正プレート上の４箇所の基準点（但し、該４箇所の基準点のうち任意の３箇所の基準点が一直線上に存在しないもの）の実座標と、を予め記憶する。
また、上記（２）の情報演算端末におけるデータ転送手段が、カメラ手段を用いて撮影された校正プレート上の４箇所の基準点と、校正プレート上に照射したポイントレーザー又はラインレーザーとをカメラ視野内に含む少なくとも２枚の撮像画像を取り込む。
【００１５】
また、上記（２）の情報演算端末における演算手段が、取り込んだ撮像画像上の基準点のカメラビュー座標について、内部標定要素に基づき撮像画像上の歪みを補正し、歪み補正された基準点のカメラビュー座標と実座標とから、画像撮影時の校正プレートを基準とした座標系におけるカメラ位置およびカメラ角度を算出する。
すなわち、取り込んだカメラ画像上の校正プレート上の基準点の２次元座標であるカメラビュー座標について、内部標定要素に基づき画像上の歪みを補正した後、歪み補正された基準点のカメラビュー座標（２次元座標）と実座標（予め記憶手段に記憶された校正プレートの基準点の３次元座標）から、校正プレートを基準とした座標系におけるカメラ位置およびカメラ角度を算出する。
【００１６】
そして、照射手段がポイントレーザーの場合、取り込んだ少なくとも２枚の撮像画像上のポイントレーザーの照射ポイントのカメラビュー座標と実座標とから、画像撮影時の校正プレートを基準とした座標系における照射光源の照射位置の３次元座標およびポイントレーザーの方向ベクトルを算出する。
【００１７】
また、照射手段がラインレーザーの場合、取り込んだ少なくとも２枚の撮像画像上のラインレーザーの照射ライン上の２点のカメラビュー座標と実座標とから、画像撮影時の校正プレートを基準とした座標系における照射光源の照射位置の３次元座標およびラインレーザーの平面の方程式を算出する。
【００１８】
そして、算出した画像撮影時のカメラ位置およびカメラ角度が基準位置および基準角度となるような座標変換および上記のポイントレーザーの方向ベクトル又はラインレーザーの平面の方程式を用いて、カメラ基準の座標系における任意の撮像画像中のポイントレーザー若しくはラインレーザーの被照射物体の３次元座標或いは３次元形状を算出する。
ここで、算出した画像撮影時のカメラ位置およびカメラ角度が基準位置および基準角度となるような座標変換とは、画像撮影時の校正プレートを基準とした座標系から、カメラ基準の座標系に変換すべく、算出した画像撮影時のカメラ位置およびカメラ角度が基準位置および基準角度となるような座標変換マトリックスを用いて変換することである。
そして、ポイントレーザーの方向ベクトル又はラインレーザーの平面の方程式を用いて、カメラ基準の座標系における任意の撮像画像中のポイントレーザー若しくはラインレーザーの被照射物体の３次元座標或いは３次元形状を算出する。
【００１９】
ここで、カメラ手段とは、市販のディジタルカメラや計測カメラ、更にはディジタルビデオカメラを用いることができる。このカメラ手段は、カメラ画像が撮影された際のカメラ状態を解析的に求めるカメラキャリブレーションを行うことが必要である。カメラキャリブレーションとは、具体的には、撮影時のカメラの位置および姿勢（カメラ角度）といった外部標定要素と、焦点距離や主点位置のズレ、レンズ歪み係数といった内部標定要素とを予め求めることである。
【００２０】
外部標定要素である撮影時のカメラ位置およびカメラ角度は、現場における実際のカメラ撮影状況に依存することから取得した画像から自動的に算出する。
一方、内部標定要素は、以下のａ）〜ｄ）の内部パラメータであり、予め情報演算端末の記憶手段に記憶している。
ａ）焦点距離
カメラのレンズ中心（主点）から撮像面（ＣＣＤセンサ等）までの距離として、例えば、０．１ミクロンの精度で値を算出する。
ｂ）主点位置のズレ
カメラの主点と撮像面の中心位置との平面２軸(x, y)各方向のズレ量で、カメラ製造時の組み付け精度に依存するものであり、例えば、０．１ミクロンの精度で値を算出する。
ｃ）放射方向レンズ歪み補正係数
ディジタルカメラによる画像の撮影は、曲面のレンズを通して平面の撮像面で光を受光するものであり、撮影された画像上の各画素は中心から距離が離れるほど大きな歪みが生じることから、そのような歪みを補正するための係数を算出する。
ｄ）接線方向レンズ歪み補正係数
接線方向レンズ歪みは、レンズと撮像面とが平行に設置されていないことにより生じるものであり、カメラ製造時の組み付け精度に依存することから、補正係数を算出する。
【００２１】
また、ポイントレーザー若しくはラインレーザーを照射する照射光源を有する照射手段とは、点光源やスリット光源から指向性の高い光線を照射するもので、例えば、市販の半導体レーザー、固定レーザー、金属レーザーを用いることができる。
また、上記のカメラ手段が赤外線カメラである場合、ポイントレーザー若しくはラインレーザーが赤外線光、赤外線スリット光、又は、赤外線レーザーを用いることができる。すなわち、被計測対象物が動物や人の眼など可視光レーザーに敏感に反応するものや、夜間の計測のように赤外線カメラを用いる場合、ポイントレーザー若しくはラインレーザーを赤外線レーザー又は赤外光、赤外線スリット光にする。ただし、赤外線レーザーは、一般に強度が強く、人間には使用困難であり、赤外線光、赤外線スリット光を用いる方がよい。
【００２２】
さらに、上記のカメラ手段がフラッシュ装置外付けタイプのディジタルカメラであり、照射手段がディジタルカメラのフラッシュ装置の取付治具を介して脱着可能に固定されることがより好ましい。
カメラ手段の姿勢と照射手段の姿勢を連動させるために、照射手段はカメラ手段に固定させる必要がある。市販のディジタルカメラの中には、フラッシュ装置外付けタイプのものがある。このフラッシュ装置の取付治具に適合するように、照射手段の取付治具を設けることで、照射手段がディジタルカメラのフラッシュ装置の取付治具を介して脱着可能に固定できる。
【００２３】
また、上記（２）の情報演算端末は、デスクトップ型コンピュータ、ノート型コンピュータ、タブレット型コンピュータ、ハンドヘルドコンピュータ、ＰＤＡ（Personal Digital Assistance）、携帯電話等のモバイルコンピュータでよい。記憶手段は、ＲＡＭ（揮発性メモリ）、ＰＲＯＭ（書き込み可能なメモリ）等で構成されればよい。
また、上記（２）の情報演算端末のデータ転送手段とは、ＵＳＢインタフェースのように有線ケーブルでカメラ手段と接続して画像データを転送するものに限らず、赤外線データ転送などの無線通信で画像データを転送するものでもよい。
また、カメラ手段がインターネットなどのネットワークに接続できるもので、情報演算端末がネットワークに接続されている場合、データ転送手段はインターネットなどのネットワークになる。
さらに、情報演算端末がカメラ手段に内蔵される場合、データ転送手段は、内部バスのようなものになる。
【００２４】
次に、本発明の３次元形状位置計測処理方法について説明する。本発明の３次元形状位置計測処理方法は、ポイントレーザー若しくはラインレーザーを照射する照射光源を有する照射手段が固定された単眼のカメラ手段を用いて被計測対象物を写真計測する方法であって、下記１）〜７）のステップを備えるものである。
【００２５】
１）前記カメラ手段の内部標定要素を読込むステップ
２）校正プレート上の４箇所の基準点（但し、該４箇所の基準点のうち任意の３箇所の基準点が一直線上に存在しないもの）の実座標を読込むステップ
３）前記カメラ手段を用いて撮影された校正プレート上の４箇所の基準点と、校正プレート上に照射したポイントレーザー又はラインレーザーとをカメラ視野内に含む少なくとも２枚の撮像画像を取り込むステップ
４）取り込んだ画像上の前記基準点のカメラビュー座標について、前記内部標定要素に基づき撮像画像上の歪みを補正するステップ
５）歪み補正された前記基準点のカメラビュー座標と前記実座標とから、画像撮影時の校正プレートを基準とした座標系におけるカメラ位置およびカメラ角度を算出するステップ
【００２６】
６−１）取り込んだ少なくとも２枚の撮像画像上のポイントレーザーの照射ポイントのカメラビュー座標と前記実座標とから、画像撮影時の校正プレートを基準とした座標系における前記照射光源の照射位置の３次元座標およびポイントレーザーの方向ベクトルを算出するステップ
【００２７】
或いは、
６−２）取り込んだ少なくとも２枚の撮像画像上のラインレーザーの照射ライン上の２点のカメラビュー座標と前記実座標とから、画像撮影時の校正プレートを基準とした座標系における前記照射光源の照射位置の３次元座標およびラインレーザーの平面の方程式を算出するステップ
【００２８】
７）算出した画像撮影時のカメラ位置およびカメラ角度が基準位置および基準角度となるような座標変換および上記のポイントレーザーの方向ベクトル又はラインレーザーの平面の方程式を用いて、カメラ基準の座標系における任意の撮像画像中のポイントレーザー若しくはラインレーザーの被照射物体の３次元座標或いは３次元形状を算出するステップ
【００２９】
ここで、上記３）のカメラ視野内に含む少なくとも２枚の撮像画像を取り込むステップは、カメラ手段と校正プレートの何れかを固定し、他方を移動させ、カメラ手段と校正プレートの間の距離が異なる撮像画像を取り込むステップとする。
【００３０】
本発明の３次元形状位置計測処理方法についての各ステップの内容説明は、上述の本発明の３次元形状位置計測装置の内容説明と同様である。
【００３１】
また、本発明の３次元形状位置計測処理プログラムは、上記の本発明の３次元形状位置計測処理方法の各ステップ（上記１）〜７）のステップ）を、コンピュータに実行させるものである。
本発明の３次元形状位置計測処理プログラムは、デスクトップ型コンピュータ、ノート型コンピュータ、タブレット型コンピュータ、ハンドヘルドコンピュータ、ＰＤＡ、携帯電話等のモバイルコンピュータなどの情報演算端末や、カメラ手段自身に搭載される。
【発明の効果】
【００３２】
本発明によれば、単眼カメラで簡便に精度よく、被計測対象上の特徴点の３次元座標を得て、３次元形状計測ができるといった効果を有する。
すなわち、最初に、校正プレート上に、ポイントレーザー又はラインレーザーの照射光を照射し、撮像装置と校正プレート間の距離を変えて２箇所以上で撮影することで、校正プレートを含まない任意の撮像画像中のポイントレーザー又はラインレーザーの照射位置の３次元座標を計算することができることから、現場での計測が非常に簡便に行えることができる。また、後述する実施例に示すように計測精度が高く、実用レベルの精度が確保できている。
【図面の簡単な説明】
【００３３】
【図１】ポイントレーザーを用いた３次元形状位置計測装置の説明図（１）
【図２】ポイントレーザーを用いた３次元形状位置計測装置を用いた３次元形状位置の検出のイメージ図。
【図３】ポイントレーザーを用いた３次元形状位置計測装置の説明図（２）
【図４】ラインレーザーを用いた３次元形状位置計測装置の説明図（１）
【図５】ラインレーザーを用いた３次元形状位置計測装置を用いた３次元形状位置の検出のイメージ図。
【図６】ラインレーザーを用いた３次元形状位置計測装置の説明図（２）
【図７】３次元形状位置計測装置の概略構成図
【図８】３次元形状位置計測フロー図
【図９】カメラ画像から校正プレートを基準とした座標系への変換の説明図
【図１０】校正プレートを基準とした座標系からカメラ位置を基準としたカメラ座標系への変換の説明図
【図１１】校正プレート上にラインレーザーを照射した撮像画像イメージ
【図１２】スケールバー上にラインレーザーを照射した撮像画像イメージ
【図１３】被計測対象物の表面形状上に照射したラインレーザーの照射光のイメージ図
【図１４】（１）は本発明の３次元形状位置計測により輪郭形状を取得したもの、（２）は全体の点群から不要な点群を除いて間引きしたもの、（３）は点群から立体メッシュを作成し写真画像を貼り付けたもの
【発明を実施するための最良の形態】
【００３４】
以下、本発明の実施形態について、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【００３５】
図１〜６は、本発明のレーザーを用いた単眼カメラによる３次元形状位置計測装置の計測イメージを示している。図１〜３が、ポイントレーザーを用いた単眼カメラによる３次元形状位置計測装置であり、図４〜６が、ラインレーザーを用いた単眼カメラによる３次元形状位置計測装置である。
図１〜６では、１台のディジタルカメラ（１，１ａ，１ｂ）と情報演算端末４としてのノート型パソコンがデータ転送ケーブル５で接続されている。
【００３６】
図１のように、ディジタルカメラ１を固定して、校正プレート（３ａ，３ｂ）を移動させて、校正プレート（３ａ，３ｂ）と校正プレート（３ａ，３ｂ）上のポイントレーザーによる照射ポイント（２２ａ，２２ｂ）を撮像する。
ポイントレーザー照射ユニット２はディジタルカメラ１に固定されていることから、ポイントレーザーによる照射ポイント（２２ａ，２２ｂ）のカメラ座標系の３次元座標を算出して、ポイントレーザーの方向ベクトルを求める。詳細は後述する。
【００３７】
そして、図２のように、被照射対象物６上のポイントレーザーによる照射ポイント２３について、任意の撮像画像からカメラ座標系の３次元座標を算出できる。照射ポイント２３の３次元座標の算出は、ポイントレーザー光２１の方向ベクトルと、カメラ中心１０と撮像画像における照射ポイント２３とを結ぶベクトル１１との交点を求めることにより行える。すなわち、カメラ座標系を基準とした任意の点の３次元座標を得ることができる。
カメラを固定して被照射対象物を動かし、ポイントレーザーを被照射対象物上の異なる点に照射させて撮影し、２枚の撮像画像を取得する。それぞれの撮像画像からポイントレーザーの異なる２点の照射ポイントの３次元座標を算出できることから、２点間の距離を算出することができる。この場合、図２に示すように、被照射対象物の撮像画像には校正プレートは不要である。
なお、カメラを固定せずに動かした場合、カメラ基準が変ってしまうことになる。カメラを固定せずに動かす場合は、被照射対象物と４点の基準点を有する校正プレートを共に撮影しなければならない。
【００３８】
また、図３に示すように、図１とは異なり、校正プレート３を固定して、ディジタルカメラ（１ａ，１ｂ）を移動させて、校正プレート（３ａ，３ｂ）と校正プレート（３ａ，３ｂ）上のポイントレーザーによる照射ポイント２２を撮像してもかまわない。
【００３９】
また、図４のように、ディジタルカメラ１を固定して、校正プレート（３ａ，３ｂ）を移動させて、校正プレート（３ａ，３ｂ）と校正プレート（３ａ，３ｂ）上のラインレーザーによる照射ポイント（７２ａ，７２ｂ）を撮像する。
ラインレーザー照射ユニット７はディジタルカメラ１に固定されていることから、ラインレーザーによる照射ポイント（７２ａ，７２ｂ）のカメラ座標系の３次元座標を算出して、ラインレーザーの平面の方程式を求める。詳細は後述する。
【００４０】
そして、図５のように、被照射対象物８上のラインレーザーによるレーザーライン７３について、任意の撮像画像からカメラ座標系の３次元座標および３次元形状を算出できる。レーザーライン７３の３次元座標および３次元形状の算出は、ラインレーザー光７１の平面の方程式と、カメラ中心１０と撮像画像におけるレーザーライン７３とを結ぶベクトル１１との交点を求めることにより行える。
カメラを固定して被照射対象物を動かし、ラインレーザーを被照射対象物上の異なる点に照射させて撮影し、複数の撮像画像を取得する。それぞれの撮像画像からラインレーザーの異なる複数のレーザーラインの３次元形状を算出できることから、それらを合成することにより被照射対象物の３次元形状を算出することができる。この場合、図５に示すように、被照射対象物の撮像画像には校正プレートは不要である。
なお、カメラを固定せずに動かした場合、カメラ基準が変ってしまうことになる。カメラを固定せずに動かす場合は、被照射対象物と４点の基準点を有する校正プレートを共に撮影しなければならない。４点プレートが無い場合は、１箇所のみの断面形状測定になる。
【００４１】
また、図６に示すように、図４とは異なり、校正プレート３を固定して、ディジタルカメラ（１ａ，１ｂ）を移動させて、校正プレート（３ａ，３ｂ）と校正プレート（３ａ，３ｂ）上のラインレーザーによる照射ポイント７２を撮像してもかまわない。
【００４２】
図７の３次元形状位置計測装置の概略構成図に示すように、情報演算端末４は、演算手段となる中央演算処理ユニット（ＣＰＵ）４１と、記憶手段となるメモリ４４やとハードディスク（ＨＤ）４３と、データ転送手段となる入出力制御部（Ｉ／Ｏ）４２とが、内部バス４５に接続された構成となっている。
【００４３】
次に、３次元形状位置計測装置の処理を説明する。図８は３次元形状位置計測装置の処理フロー図を示している。また、図９，１０は説明用の模式図である。
まず、３次元形状位置計測の事前準備として、校正プレートの四隅の４点の基準点の実座標を予め取得し、それをデータベースとして情報演算端末４のハードディスク４３に記憶する。実際に３次元形状位置計測処理を行う際には、校正プレートの４点の基準点の実座標のデータを読込む。例えば、図９に示すような校正プレート３の４点の基準点(ＯＰ１,ＯＰ２,ＯＰ３,ＯＰ４)の既知の３次元座標を読込む。
【００４４】
そして、事前に計測しておいたカメラ画像の歪み補正のための内部標定要素（カメラパラメータともいう）をハードディスク４３から読込み、カメラで撮像した画像に写った校正プレートの基準点の２次元座標のカメラビュー座標（ＶＰ１，ＶＰ２，ＶＰ３，ＶＰ４）を取得する。そして、内部標定要素を用いてカメラ画像上に写った基準点の画像上の歪み補正を行う。
【００４５】
そして、校正プレートを基準として、校正プレートの座標系におけるカメラ位置およびカメラ角度を算出する。すなわち、図９に示すように、校正プレートのカメラビュー座標（ＶＰ１，ＶＰ２，ＶＰ３，ＶＰ４）と、校正プレートの３次元座標(ＯＰ１,ＯＰ２,ＯＰ３,ＯＰ４)から、カメラ位置・カメラ角度を算出する。
【００４６】
そして、求めたカメラ位置・カメラ角度が、カメラ基準（位置(０,０,０）角度(０,０,０))となるような座標変換マトリクスを求める。校正プレートの三次元座標にそのマトリクスをかけて、図１０に示すようなカメラ位置を基準としたカメラ座標系に置き換えた座標値（ＷＰ１，ＷＰ２，ＷＰ３，ＷＰ４）を求める。
【００４７】
以上のように、カメラ位置を基準としての校正プレートの基準点のカメラ座標系の３次元座標が算出できる。
カメラ位置を基準としての校正プレートの基準点のカメラ座標系の３次元座標が算出できることから、図１に示すようにディジタルカメラ１を固定して校正プレート（３ａ，３ｂ）を移動させて撮影した２枚以上の撮像画像から、ポイントレーザー照射光の照射位置（２２ａ，２２ｂ）のカメラ座標系の３次元座標を取得することができる。ポイントレーザーの照射光源位置２０は、ポイントレーザー照射ユニット２がディジタルカメラ１に固定されているため、カメラ撮影の度にカメラ姿勢は変化するものの、ポイントレーザーの照射光源位置はカメラ座標系では固定されている。
そのため、ポイントレーザーの照射光源位置は、カメラ座標系では固定されていることと、ポイントレーザー照射光の照射位置（２２ａ，２２ｂ）のカメラ座標系の３次元座標とを用いて、ポイントレーザーの方向ベクトルを求めることが可能になる。
【００４８】
同様に、カメラ位置を基準としての校正プレートの基準点のカメラ座標系の３次元座標が算出できることから、図３に示すように校正プレート３を固定してディジタルカメラ（１ａ，１ｂ）を移動させて撮影した２枚以上の撮像画像から、ポイントレーザー照射光の照射位置２２（照射位置は全く同一ではなく、ずれていてもよい）のカメラ座標系の３次元座標を取得することができる。ポイントレーザーの照射光源位置（２０ａ，２０ｂ）は、ポイントレーザー照射ユニット（２ａ，２ｂ）がディジタルカメラ（１ａ，１ｂ）に固定されているため、カメラ撮影の度にカメラ姿勢は変化するものの、ポイントレーザーの照射光源位置はカメラ座標系では固定されている。
そのため、ポイントレーザーの照射光源位置は、カメラ座標系では固定されていることと、ポイントレーザー照射光の照射位置２２のカメラ座標系の３次元座標とを用いて、ポイントレーザーの方向ベクトルを求めることが可能になる。
【００４９】
また、カメラ位置を基準としての校正プレートの基準点のカメラ座標系の３次元座標が算出できることから、図４に示すようにディジタルカメラ１を固定して校正プレート（３ａ，３ｂ）を移動させて撮影した２枚以上の撮像画像から、ラインレーザー照射光の照射位置（７２ａ，７２ｂ）のカメラ座標系の３次元座標を取得することができる。ラインレーザーの照射光源位置７０は、ラインレーザー照射ユニット７がディジタルカメラ１に固定されているため、カメラ撮影の度にカメラ姿勢は変化するものの、ラインレーザーの照射光源位置はカメラ座標系では固定されている。
そのため、ラインレーザーの照射光源位置は、カメラ座標系では固定されていることと、ラインレーザー照射光の照射位置（７２ａ，７２ｂ）のカメラ座標系の３次元座標とを用いて、ラインレーザーの平面の方程式を求めることが可能になる。
【００５０】
同様に、カメラ位置を基準としての校正プレートの基準点のカメラ座標系の３次元座標が算出できることから、図６に示すように校正プレート３を固定してディジタルカメラ（１ａ，１ｂ）を移動させて撮影した２枚以上の撮像画像から、ラインレーザー照射光の照射位置７２（照射位置は全く同一ではなく、ずれていてもよい）のカメラ座標系の３次元座標を取得することができる。ラインレーザーの照射光源位置（７０ａ，７０ｂ）は、ラインレーザー照射ユニット（７ａ，７ｂ）がディジタルカメラ（１ａ，１ｂ）に固定されているため、カメラ撮影の度にカメラ姿勢は変化するものの、ラインレーザーの照射光源位置はカメラ座標系では固定されている。
そのため、ラインレーザーの照射光源位置は、カメラ座標系では固定されていることと、ラインレーザー照射光の照射位置２２のカメラ座標系の３次元座標とを用いて、ラインレーザーの平面の方程式を求めることが可能になる。
【００５１】
そして、図８に示すフローのように処理を行っていく。まず、ディジタルカメラの内部標定要素を読み込む（ステップＳ０１）。校正プレート上に点光源（ポイントレーザー）又は線光源（ラインレーザー）を照射する（ステップＳ０２）。そして、校正プレートを撮影し（ステップＳ０３）、校正プレート上の光源（レーザーによる照射像）の位置を算出する（ステップＳ０４）。ディジタルカメラを固定して校正プレートを移動させるか、或いは、校正プレートを固定してディジタルカメラを移動させて、異なる距離で２個所以上撮影し、２枚以上の撮像画像を取得したか否かを判定する（ステップＳ０５）。異なる距離で２個所以上撮影していない場合は、上記のステップＳ０２から繰り返す。
異なる距離で２個所以上撮影した場合、上述したように照射光源の方向ベクトル又は平面の方程式を算出する（ステップＳ０６）。
【００５２】
そして、計測対象を撮影して、撮像画像上の光源（レーザーによる照射像）上で測定位置を指定する（ステップＳ０７）。測定位置の指定は、例えば、情報演算端末の画面に表示された当該撮像画像からマウス等のポインターデバイスで指定する。
【００５３】
そして、撮像画像上の測定位置と、ポイントレーザー光源のなす方向ベクトル又はラインレーザー光源のなす平面の方程式から測定位置のカメラ座標系における３次元座標を計算する（ステップＳ０８）。
【実施例１】
【００５４】
本発明のレーザーを用いた単眼カメラによる３次元形状位置計測装置の精度検証実験について、以下説明する。精度検証実験は、予め４点を配置した校正プレートを用いて、カメラとラインレーザーとの位置関係を算出しておき、既知の長さのスケールバーの長さを測定した。スケールバーは、両端部にセラミックゲージを取り付けることにより、ラインレーザーとの交点が正確に識別できるようにした。
実験に用いたカメラは、下記仕様のものであり、レンズ歪みは予めキャリブレーションを行い、算出した内部標定要素を用いた（単位はｍｍ）。
【００５５】
・カメラ型番：ＮｉｋｏｎＤＸ２
・カメラ画素数：１２００万画素
・内部標定要素
ａ）焦点距離：29.0042
ｂ）ピクセル長：0.0055
ｃ）主点のずれ：ｘｐ＝0.1906，ｙｐ＝−0.1010
ｄ）歪み係数：放射方向  ｋ１＝ 8.1216E-05
ｋ２＝−8.3428E-08
ｋ３＝−9.8855E-11
接線方向  ｐ１＝ 8.2673E-06
ｐ２＝−4.725E-06
【００５６】
まず、図１１に校正プレート上にラインレーザーを照射した撮像画像イメージを示す。図１１において、３は四角の枠の校正プレートであり、３１〜３４は基準点としての再帰反射型マーカーである。校正プレート３はプレートの内部を貫いて枠にしているが、これは重量を軽くして持ち運びの利便性を図るためである。また、図１１において、７２はラインレーザーの照射光である。
カメラから校正プレートまでの距離を変えて２枚の撮像画像を取得し、校正プレート上に照射されたラインンレーザーの照射光のレーザーライン７２の中心位置をカメラ座標系で算出した。
【００５７】
まず、２枚の撮像画像それぞれに写ったラインンレーザーの照射光のレーザーライン７２の端部（校正プレートの外枠との交点位置）のカメラ座標系により３次元座標を算出した。以下に、それぞれの撮像画像から、算出されたカメラ座標系におけるレーザーライン上２点の３次元座標の測定結果（測定１、測定２）を示す。ここで、Ｚ座標はカメラからレーザーまでのおおよその撮影距離で、負がカメラの前方方向であることを示している。
【００５８】
＜測定１＞
算出されたカメラ座標系におけるレーザーライン上２点の３次元座標
・端部１の３次元座標：（Ｘ，Ｙ，Ｚ）＝（29.1790，22.7149，−1494.1577）
・端部２の３次元座標：（Ｘ，Ｙ，Ｚ）＝（250.2211，19.1359，−1489.8954）
＜測定２＞
算出されたカメラ座標系におけるレーザーライン上２点の３次元座標
・端部１の３次元座標：（Ｘ，Ｙ，Ｚ）＝（54.1132，−21.7696，−1994.7441）
・端部２の３次元座標：（Ｘ，Ｙ，Ｚ）＝（-113.1753，−19.0122，−1999.3124）
【００５９】
上記の測定１，測定２の結果から、以下のラインレーザーの平面の方程式が算出できた。
【００６０】
（数１）
ａ・ｘ＋ｂ・ｙ＋ｃ・ｚ＋ｄ＝０  ・・・  （数式１）
【００６１】
ここで、上記の数式１のパラメータａ＝0.018176，ｂ＝0.995992，ｃ＝−0.087577，ｄ＝−154.0480である。
【００６２】
この装置を用いて、図１２に示す両端にセラミックゲージ（１５ａ，１５ｂ）を当てたスケールバー１５の寸法（ｃ：Ａ−Ｂ間）を測定した。ここで、両端Ａ，Ｂの座標は、レーザー平面とカメラ中心と撮像面での位置を結んだ直線との交点になり、それを算出すると、下記の結果が得られた。なお、境界との交点識別は、画像処理による自動抽出を行った。ここで、スケールバーの長さ（ｃ）は５０８（ｍｍ）であり、セラミックゲージの長さ（ａ，ｂ）はそれぞれ１０（ｍｍ）である。
【００６３】
・算出されたカメラ座標系における左側端部Ａの３次元座標
端部Ａの３次元座標：（Ｘ，Ｙ，Ｚ）＝（−284.4690，26.5970，−1515.5602）
・算出されたカメラ座標系における右側端部Ｂの３次元座標
端部Ｂの３次元座標：（Ｘ，Ｙ，Ｚ）＝（242.8892，15.0008，−1537.9902）
【００６４】
算出した上記の端部Ａ，Ｂの３次元座標を用いて、スケールバーの長さ＋セラミックゲーシの長さの合計値を計算したところ、実測値は527.96（ｍｍ）となり、本来の長さ５２８ｍｍとの誤差は0.04（ｍｍ）であった。
【実施例２】
【００６５】
次に、ディジタルカメラを移動させて連続的に画像を撮影し、各画像におけるカメラ位置を基準とする４点のターゲットを用いて、すべての画像を共通のカメラ座標系にすることにより、被計測対象物上のレーザー照射位置を共通のカメラ座標系とすることで、同一のカメラ座標系における複数の３次元輪郭形状を取得した。
図１３は、被計測対象物の表面形状上に照射したラインレーザーの照射光のイメージである。図１３に示す画像には、被計測対象物９０の表面形状上に照射したラインレーザーの照射光のレーザーライン７２と、画像におけるカメラ位置を基準とする４点のターゲットマーカー（３１〜３４）が存在する。なお、マーカー３５は、方向を自動検出するためのダミーターゲットである。
【００６６】
ディジタルカメラを移動させて色々な方向から画像を撮影し、色々な方向から測定を行うことにより、輪郭形状を取得する。図１４（１）は輪郭形状を取得したイメージを表している。そして、輪郭形状を取得した後、全体の点群から不要な点群を除いて間引きを行う。図１４（２）は全体の点群から不要な点群を除いて間引きしたイメージを表している。そして、点群から立体メッシュを作成し、写真画像を貼り付ける。図１４（３）は点群から立体メッシュを作成し写真画像を貼り付けたイメージを表している。
【産業上の利用可能性】
【００６７】
本発明のレーザーを用いた単眼カメラによる３次元形状位置計測装置，３次元形状位置計測処理方法および３次元形状位置計測処理プログラムは、単眼カメラを用いて、生産ラインでの物体の３次元形状ならびに３次元位置の認識、物体の位置出し、物体の識別、物体の追跡を行うシステムなどに有用である。
【符号の説明】
【００６８】
１，１ａ，１ｂ  ディジタルカメラ
２，２ａ，２ｂ  ポイントレーザー照射ユニット
３，３ａ，３ｂ  校正プレート
４  情報演算端末（ノートＰＣ）
５  データ転送ケーブル
６，８  被照射対象物
７，７ａ，７ｂ  ラインレーザー照射ユニット
９  カメラ画像上の基準点
１０，１０ａ，１０ｂ  単眼レンズ
１１  カメラ中心と照射ポイントを結ぶベクトル
１５  スケールバー
１５ａ，１５ｂ  セラミックゲージ
２０，２０ａ，２０ｂ，７０，７０ａ，７０ｂ  照射光源位置
２１，２１ａ，２１ｂ  ポイントレーザー光
２２，２２ａ，２２ｂ，２３  ポイントレーザーによる照射ポイント
３１〜３４，３１ａ〜３４ａ，３１ｂ〜３４ｂ  基準点
３５  方向自動検出用のダミーターゲット
７１，７１ａ，７１ｂ  ラインレーザー光
７２，７２ａ，７２ｂ，７３  ラインレーザーによるレーザーライン
９０  被計測対象物
【図１】
2013122434.tif 000003
【図２】
2013122434.tif 000004
【図３】
2013122434.tif 000005
【図４】
2013122434.tif 000006
【図５】
2013122434.tif 000007
【図６】
2013122434.tif 000008
【図７】
2013122434.tif 000009
【図８】
2013122434.tif 000010
【図９】
2013122434.tif 000011
【図１０】
2013122434.tif 000012
【図１１】
2013122434.tif 000013
【図１２】
2013122434.tif 000014
【図１３】
2013122434.tif 000015
【図１４】
2013122434.tif 000016