(57)【要約】【課題】移動体の位置姿勢計測を画像処理技術を用いる方法において、移動体が遠近を移動する場合、カメラのズームを変化させなければならないが、ズームを変化させた場合、カメラ光軸の変化し  実態座標系との乖離が生じ、正確な計測が出来ない。狭小な随道工事等における掘削機械の位置姿勢を計測する場合、途中に計測器を置けないことが多く、レーザビームと目盛り板、モニタＴＶによる、目視目読計測が多く誤差を生じやすい。曲線随道などではジャイロコンパスが用いられているが、高価であるにもかかわらず精度が悪くまた方位角度計測しか出来なく位置計測は出来ない。現状での画像処理による計測システムは高価である。【解決手段】安価、高精度、モニター体型のＣＣＤカメラ、自由懸垂マーカー等と、基線となるレーザビームを利用し、画像処理装置と数学的な処理により高速、高精度な計測を行う。【選択図】図１
2007047142.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ制御乃至手動で制御される上下、左右方向旋回機構及び水平調整機構に保持された可変ズーム、可変フォーカス機能のＣＣＤカメラ等及び画像処理装置と基線となるレーザビーム、前記ＣＣＤカメラ等に連結された距離計を利用し、３個以上の複数色着色乃至複数色発光器付の３次元マーカーと自由懸垂機構に支持された常時鉛直及び水平を保持するマーカを設置した移動物の位置姿勢を計測する方法。
【請求項２】
コンピュータ乃至手動制御される上下、左右方向旋回機構及び水平調整機構に保持され、任意の角度で照射するレーザビーム、距離計による３次元位置計測装置から照射されたレーザビームを複数の曲面鏡、レンズ、ハーフミラー、スクリーンを平行乃至一定交角に配置し、既知の角度で入射したレーザビームのハーフミラー及びスクリーン上の画像及び自由懸垂機構に支持され常時鉛直及び水平を保持する複数色マーカの画像を単独乃至複数個のＣＣＤカメラ等で画像処理装置し、レーザビームの入射位置、方向を計測する受光装置を設置した移動物の位置姿勢を計測する方法。
【発明の詳細な説明】
【技術分野】
【０００１】本発明は、手術工作機械操作アーム、曲線型随道（トンネル）掘削機械、物流、搬送システムの運搬機械等の位置姿勢の計測を自動的に行うことが出来る自動位置姿勢計測システムに関する。
【背景技術】
【０００２】
【特許文献】特願平１１−３５７９３
従来手術工作操作器具や曲線随道乃至狭小随道工事における掘削機械の位置姿勢や施工実績を計測することは劣悪な環境やその狭小さのため困難であった。手術工作器具においてはマニュピュレータの多関節にエンコーダを設置し角度距離から計算したり、隧道工事においてはトランシット、測距テープ、電卓、パソコン、照明器などを一同に携行し目盛目視計測していたが、劣悪な環境のため計測誤差を多発し、特に曲線随道の場合頻繁に計測する必要があり計測作業員の身体的疲労も大きな問題であった。
参考文献の  特願平１１−３５７９３の発明は本出願者の発明によるものであり、複数台のＣＣＤカメラ（以降Ｃ−ＭＯＳ型カメラ、撮像管型ＴＶカメラ等を含み以降ＣＣＤカメラ等と称す）搭載３次元計測装置を利用し、曲線随道掘削機の自動測量の方法を示している。ＣＣＤカメラ等の利用方法について該発明の場合はＣＣＤカメラ等と計測対象間距離が一定の場合にはカメラのズームやフォーカスは一定であればよい。
本発明は安価な市販品のＣＣＤカメラ等を利用することを視野に入れている。
一般的には画像処理計測する場合は固定焦点レンズを用いて、計測前に焦点距離やレンズ歪等各種光学パラメータ（光軸、焦点距離、レンズ中心、レンズ歪等）を計測設定し、計測中はズームやフォーカスは変更しないことが原則とされている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】画像処理を利用した計測では、カメラのズーム変化に対する光軸移動（座標系の変化）の問題が常にあり、（高精度のレンズ送り機構を利用してズームを行う放送機器や精密計測機器は別として）、ズーム機構に角度エンコーダを併設し、ズームに応じた光軸変化を計測値にフィードバックする方法が一般的であるが、キャリブレーションが個体ごとに必要、かさばる、安価な市販品には望めない等実用的ではない。
狭小な随道内では計測用の立体マーカをＣＣＤカメラ等で視準する方法は視野が狭いため複数個のマーカ全ては見えない場合がある。
従来１台のカメラ系で対象物を２次元的に画像処理計測することは出来たが、３次元位置姿勢は計測は出来なく、３次元位置姿勢計測は２台のカメラ系で行っており（いわゆるステレオカメラ方式）、高価、設置場所が限定される、などの制約があった。
カメラの計測単位はピクセル単位であり、実寸法への変換は予め実寸法の解っている立体を計測しキャリブレーションを行い、変換係数テーブルを都度参照する等、煩わしい方法を用いていた。
また従来はズームやフォーカスを変更すると、その都度  光学パラメータを計測設定し直すため、パラメータ計測設備や環境のある場所に移動し再度計測設定するという煩雑な工程を繰り返す必要があった。。
【課題を解決するための手段】
【０００４】請求項１の計測方法は距離計搭載手動乃至自動３次元旋回台にレーザ発光器およびＣＣＤカメラ、ズームレンズ等を搭載し移動体に設置された立体マーカの３次元位置姿勢を計測し、移動体の位置姿勢を計算する方法である。（図１）。
レーザ発光器は距離計測機能を持つものとする。
位置姿勢とは３次元座標Ｘ，Ｙ，ＺとＸ，Ｙ，Ｚ軸に対する回転角３値いわゆるピッチング、ヨーイング、ローリングのことである。
レーザビーム１１は旋回台の旋回基準軸に平衡乃至一定角度に固定され、既知の光軸位置角度で旋回するか、レーザ１４の如く旋回台、カメラ系とは別の点に固定され、その光軸の位置、角度は既知とする。
説明上旋回中心上にレーザが固定されているものとする。
このとき必ずしもカメラ座標系の光軸の位置角度は、既知であればより正確、迅速な計測が出来るが  必ずしも既知である必要はない。
この状態でマーカ１２及び基準レーザ照射画像を取り込み画像処理し、画像面内のマーカ座標と距離計乃至レーザ距離計乃至別手段により計測された距離情報からカメラ光軸系での位置姿勢を計算しさらに該位置姿勢を絶対座標系に変換し移動体の位置姿勢を計算する。立体マーカ１２群の画像面内（２次元）での位置からマーカの３次元位置姿勢を求める方法は１眼カメラ立体視方法、比例法等による。
ここで言う１眼カメラ立体視方法とは、形状寸法既知の３次元立体物と焦点距離ｆを持つレンズと、レンズから画像の結像位置までの実距離から計測物までの実距離を計算する方法である。図−３において  ３０は立体の高さＡ、３１は求める距離Ｌ、３２は焦点距離ｆ、３３はレンズからＣＣＤまでの距離ｄ、３４はＣＣＤ画像でのＡの高さａとする。
予めｄは製造工程において、焦点距離と既知のＡと既知の距離からキャリブレーションにより求められる。こうして予めｄの決まった光学系で画像処理することにより未知の距離Ｌは計測値  ａ、Ｄ、Ａからなる三角形から
Ｌ＝Ａ＊ｄ／ａ    として求めることが出来る。
この方法によれば、距離だけでなく、全ての立体の３次元位置姿勢も計算することが出来る。即ち図３−３５例のごとく、既知の実寸の三角錐ＡがＣＣＤに結像ａすることを条件とし、前期１眼カメラ立体視法により計算することが出来る。【０００５】ここで言う比例法とはある実寸法を持つマーカ画像のピクセル寸法と実寸法の比例係数から対象物の位置姿勢を計算する方法である。
図１、図２においてマーカ１２ａ，１２ｂ，１２ｃは移動体に固定されているがマーカ１２ｄ，１２ｅは鉛直に自由懸垂されていて、錘やダンパーで移動体の振動を吸収し、安定的に鉛直を保つ機構で保持されている。１２ｆ，１２ｇは同様の機構で常時水平を保持しているマーカーとする。
１２ｄ−１２ｅ間は移動体の姿勢に関係なく一定の長さと鉛直を保ち、１２ｄ−１２ｅと１２ｆ−１２ｇの交角は常時直角を保つのでこれを尺度として各マーカの２次元実座標値を計算することが出来、１２ａ，１２ｂ，１２ｃ間距離と座標値により近似的に姿勢も計算することが出来る。
また１２ａ，１２ｂが光軸に概ね直角の場合は１２ａ，１２ｂ間実距離を尺度とすることも出来る。
マーカー１２ｃからも同様に１２ｅ，１２ｆ，１２ｇの自由懸垂マーカーを懸垂し１２ｃの実寸位置を計算する尺度とすれば、より正確な計測が出来る。
マーカーを多数設置できない場合は、３個以上の複数マーカ（１２ｈ，１２ｉ，２１ｊ）を立体的に剛接し、全体を自由懸垂することでマーカー数を少なくする。
複数個のマーカーとカメラ間距離が大きく違う場合はこのように複数個の自由懸垂マーカーを用いるとより正確な計測が出来る。
移動体が遠近に移動し画像が見えにくくなったとき画像処理しやすい状態にズーム操作するとカメラの光軸は変化し当初の座標軸と乖離し、絶対座標系との関係が不明になる。
マーカ１２群の画像面内での位置が変化するため、このままでは絶対座標系に変換が出来ないが、本発明の方法を用いるとレーザの照射画像位置はズームに影響されない絶対座標系にあり（図４）、マーカ画像位置をレーザ画像位置との関係に補正することでマーカの絶対位置が求められる。
ここでマーカ群１２の個々のマーカを同色としても良いが、色分けすることでさらに画像処理能力を高めることが出来る。例えばレーザビーム１３は、通常は赤色なので  例えばマーカ１２ａは緑ｂ，ｃは青、自由懸垂マーカ１２ｄ，ｅ、ｆ，ｇは黄色等に色別すると、マーカーの前後左右の位置関係が明瞭になり画像処理ソフトウェア作成上有効である。
またマーカーが遠近したときはレンズのズームを行うが、当初の光学系のパラメータが変化し、そのままでは計測誤差が増大するので、ズーム前に測距、画像処理を行いマーカーの座標を計測、既知としておき、、ズーム後はその既知の値を元にパラメータを再計算、設定しなおす。【０００６】請求項２の発明は曲面反射鏡（平面反射鏡も含む）とハーフミラーとスクリーンを複数枚相対して設置した光学系を移動体に固定し、光学系に入射角度が既知のレーザビームを照射し、ハーフミラーの映像とスクリーンの映像をＣＣＤカメラ等で画像処理して移動体の位置、姿勢を計測する方法である。
図５は上記光学系（４１，４２，４３。反射鏡はカメラ視界、レーザ５２の光路をさえぎらないように配置されており、その位置関係は既知）と複数台のＣＣＤカメラ等（受光器内カメラ４０、４０ａ、４０ｂ  受光器外カメラ４０ｃ）および自由懸垂の鉛直マーカ４４ａ，ｂ（２以上複数個乃至線状マーカ）及び自由懸垂水平マーカ４４ｃ，ｄからなる受光器５０、および各ＣＣＤカメラ等の画像を合成した画像５１を示している。
原理を簡単に説明するため  ＣＣＤカメラ等４０を１台、反射鏡は全て平面鏡とし、入射するレーザは最初にハーフミラー４１に入射し、平面鏡４２で全反射し、最終的にスクリーン４３に結像するものとする。その他に５０内には５０の鉛直に対する傾きを計測するためおよび画像ピクセル単位から実単位への換算尺度とする自由懸垂鉛直マーカ４４ａ，ｂ水平マーカ４４ｃ，ｄが設置されている。換算の方法は【０００５】行に説明の詳細と同じ原理である。（ピクセル単位から実単位への変換はあらかじめキャリブレーションされた変換係数を用いることも出来る）
受光器５０の前面ハーフミラー４１に入射し、最期にスクリーン４３に結像するレーザの途中での反射、半透過の画像はたレーザは画像５１において示すとおりである。
４１、４２、４３の画像位置は基準線たるレーザビームからの変移即ち上下左右の座標であり、その値を光路距離で除した値が方向角である。
即ち４１と４３の水平乖離距離４５を実距離に変換し、４１、４２間の実距離で除した値から受光器のレーザ光軸に対する水平角（ヨーイング）が計算できる。
４１と４３の鉛直乖離距離４６を実距離に変換し、４１、４２間の実距離で除した値から受光器のレーザ光軸に対する鉛直角（ピッチング）が計算できる。
狭小随道のようにレーザ方向にしかスペースが取れない場合はハーフミラー４１、カメラ４０ａ、反射鏡４２はハーフミラーとし、カメラ４０ａで４１、４２の画像処理を行い前期の計算方法で位置姿勢を計算する。またカメラ４０、４０ａ、４０ｂは受光器に設置されていて受光器の位置姿勢の変位の影響を受け補正を必要とするが、４０ｃは受光器と切り離し、受光器変位の影響を受けない位置にあり、補正は単純化される。
カメラ４２ｂはさらに奥行きスペースに制約がある場合に使用する等反射鏡、ハーフミラー、スクリーン、カメラの配置を変えて対応することが出来る。また複数台のカメラを使用することにより、映像近くにカメラを設置することが出来画像分解能を上げ計測精度を向上することが出来る。
一部の反射鏡を平面鏡ではなく既知の曲率の曲面鏡としたり、レーザ光路上に凹凸レンズを配置したりするとさらに制約のあるスペースに対応することが出来る。
請求項１同様入射レーザを赤色とするとマーカ４４ａ，ｂ，ｃ，ｄは赤以外に色別するとさらに画像処理能力を高めることが出来る。
【発明の効果】
【０００７】従来の市販品のデジタルカメラ、ムービーカメラによる画像処理位置姿勢計測、測量はその光軸のあいまいさから不可能とされていたが、レーザビームの直線性と組み合わせることにより光軸のあいまいさを解消することが出来、精度向上を図ることが出来る。
移動する立体の形状を計測する場合立体の各点の位置を出来るだけ多く正確に測る必要があり、該発明による画像処理技術の高速性を利用することにより瞬時に多くの点を計測することが出来る。
【発明を実施するための最良の形態】
【０００８】現在市販品のデジタルビデオカメラを購入し、レーザ照射機を併設し本発明の試作機を一台製作し、画像処理ソフトウエアを開発し、テストを行っている。
【実施例】
【０００９】下水道工事シールド工法作業所にて上記試作機による試験を行っている。
【産業上の利用可能性】
【００１０】医療手術機器のマニュピレータ、機械工作操作器具、建設工事、随道掘削工事機械、運搬、搬送機等移動体の位置方向計測。構造物、工作設置物等固定物体の位置姿勢計測。
【図面の簡単な説明】
【００１１】
【図１】請求項１の全体構成図を示した図面である。
【図２】請求項１  ＣＣＤカメラ等光軸、基準レーザ、マーカの位置関係を平面的に示した図である。
【図３】立体視計測の原理図である。
【図４】ズーム前の画像からズーム後の画像が乖離した状態を示した図である。
【図５】請求項２受光器及びＣＣＤカメラ等画像を示した図である。
【符号の説明】
【００１２】１０．．．ＣＣＤカメラ等
１１．．．基準レーザ照射器（測距機能内蔵）
１２．．．立体マーカ群
１２ａ、１２ｂ．．．．．．立体マーカ前面マーカ
１２ｃ．．．．立体マーカ後面マーカ
１２ｄ、１２ｅ，１２ｆ，１２ｇ．．．．．自由懸垂マーカ（１２ｆ，１２ｇは１２ｄ，１２ｅに直角）
１２ｈ，１２ｉ、１２ｊ．．．．自由懸垂立体マーカー
１３．．．基準レーザ照射板兼測距反射板
１４．．．．．基準レーザ照射器（測距機能内蔵）
２０．．．ズーム前後の基準レーザの画像
２１．．．ズーム前後のマーカの画像
３０．．．．．対象物実寸法
３１．．．．．レンズから対象物までの実距離
３２．．．．．レンズ焦点実距離
３３．．．．．レンズとＣＣＤ間距離
３４．．．．．対象物画像寸法
３５．．．．．立体視法による立体物の画像処理計測原理図
４０、４０ａ、４０ｂ．．．．．．．．ＣＣＤカメラ等
４０ｃ．．．．．受光器外固定カメラ
４１．．．．．ハーフミラー
４２．．．．．反射鏡
４３．．．．．スクリーン
４４．．．．．自由懸垂マーカ
４１ａ．．．．．ハーフミラー内レーザ画像
４２ａ．．．．４２がハーフミラーの場合のレーザ画像
４３ａ．．．．．スクリーン内レーザ画像
４４ａ、４４ｂ．．．．．自由懸垂鉛直マーカ及び画像
４４ｃ、４４ｄ．．．．．自由懸垂水平マーカ及び画像
４５．．．．．４１ａ、４３ａ画像水平離隔距離（ピクセル単位）
４６．．．．．４１ａ、４３ａ画像鉛直離隔距離（ピクセル単位）
４７．．．．．受光器傾斜距離（単位ピクセル）
４８．．．．．４１ａ、４２ａ水平離隔距離（単位ピクセル）
４９．．．．．４１ａ、４２ａ鉛直離隔距離（単位ピクセル）
５０．．．．．受光器
５１．．．．．画像状態
５２．．．．．レーザ
５３．．．．．レンズ
【図１】
2007047142.tif 000003
【図２】
2007047142.tif 000004
【図３】
2007047142.tif 000005
【図４】
2007047142.tif 000006
【図５】
2007047142.tif 000007