(57)【要約】【課題】物体の変位、位置、姿勢、寸法計測に画像処理技術を用いる方法において、屋外等では空気の揺らぎ、地盤変形により、基準点、計測カメラ設置点が変動し、初期設定値から乱雑に乖離し計測誤差となる。計測点数が多い場合は基準点数もそれに応じて増やす必要があり、基礎工事を含め設置作業、管理作業は困難であり、人為的誤差の誘因でもあった。【解決手段】人工的な基準点を設置せず、背景画像中の被検体以外の不動点と認識される物体、自然物を選別、設定しカメラとその画像の特徴点を結ぶ線を基準線として、計測点と基準点を同時撮影することにより揺らぎの影響を相殺する。多数方向の背景画像を得るため反射鏡、ハーフミラー、プリズム等の光学素子の組み合わせを利用する。【選択図】図１
2007322407.tif 000002
【特許請求の範囲】
【請求項１】
１台乃至複数台のＣＣＤカメラ等で被検体および周辺を撮影、画像処理し、画像内の被検体画像以外の不動または規則性を持って変動する物体、範囲の画像特徴点を抽出し、それらを基準としてカメラ等の自位置、姿勢、変位量、移動量を計算し、ズーム、フォーカス等の状態変化を補正し、被検体の位置、姿勢、変位量、移動量、寸法その他の形状を計測する方法。
【請求項２】
反射鏡、プリズム、ハーフミラー、レンズその他の光学系冶具及び旋回装置を利用してＣＣＤカメラ等で画格範囲外の特定範囲を撮影する方法。
【発明の詳細な説明】
【技術分野】
【０００１】本発明は、建設物、自然地形、加工製造物の変位、位置、姿勢の計測や測量を画像処理技術を利用して自動的に行う変位位置姿勢計測システムに関する。
【背景技術】
【０００２】
【特許文献】特願平１１−３５７９３、特願平２００５−２５５７０１測量機器の発達に伴い、光波距離計と水平鉛直２軸旋回機構（通称トランシット）から構成される光学式トータルステーション（以降ＴＳと称す）が安価に供給されるようになり、計測作業は簡便になり、変位、位置、姿勢、形状等（以降変位等と称す）の計測はもっぱらＴＳが利用されている。
物体の変移等を計測する場合  計測器本体の座標値と少なくともその他に遠方の任意の不動点一点を基準点（測量では後視点と称する）として、その座標値を既知として２点を結ぶ直線を基線線とし、３次元座標系を設定、この座標系を不動のものとしてその他の未知点を計測する。
しかしながらこの基準点計測に使用するＴＳは光学式であるため湿度、気温変化に起因する屈折率変化により計測時の気候によって計測値が異なることが多く、また計測器を設置している地盤自体も、地盤の常時微動や、気温、湿度等の気候により、常に変形、変位している。
特に屋外で計測する場合  計測作業者は毎回  計測時間を同じ時間帯にしたり、気温や湿度の変化の穏やかな朝晩の時間帯を選んで計測したり、地上からある程度はなれた高所に基準点を設けたり等の工夫をしているのが現状である。
屋外計測、測量作業の宿命である空気の揺らぎによる基準線の変動である。
これらの工夫をしても基準点方向と離れた方向の未知点を計測する場合は方向によって揺らぎの度合いが異なり、同じ座標系の計測ではなくなり誤差、バラツキの大きな原因となっている。
近年安価で、高分解能のＣＣＤカメラも供給されるようになり、画像処理技術も発達し、写真計測による計測システムも急速に普及しているが、本発明は画像処理技術を利用した、変位等の計測システムに関するものである。
画像処理による計測もカメラの座標値と別途基準点が必要なことは同じであり、揺らぎの問題を内包している。
参考文献の特願平１１−３５７９３の発明は本出願者の発明によるものであり、複数台のＣＣＤカメラ（Ｃ−ＭＯＳ型カメラ、撮像管型ＴＶカメラ等を含み以降ＣＣＤカメラ等と称す）搭載３次元計測装置を利用し、随道工事における掘削機変位等の画像処理自動測量の例を示している。
【発明の開示】
【発明が解決しようとする課題】
【０００３】揺らぎ問題の課題は、基準点は遠方であるほど基準点としての効果があるが、揺らぎは遠方になるほどその  度合いが大きくなり、気温、湿度が高いほど顕著に現れる。
当然のことであるが  基準点の方向と異なる方向では空気の状態が異なり、揺らぎの度合いが異なるため基準点と被検体は同じ方向に同数設置することが理想であるが現実には、基礎工事も必要なため経済非合理的であり、設置工事自体が困難な場所もある。
また基準点を計測し座標系を決めても次の瞬間には揺らぎにより座標系が変化するため基準点をふくむ全ての計測点をできるだけ短時間内に計測する必要がある。
多数点を計測する場合ズームレンズを使うと精度向上を図ることが出来るが、この場合、光軸の変位を生じ、微小ではあるがフォーカスによる光軸のズレもあり、座標系の変化を惹起し、計測誤差の主因となっている。
【課題を解決するための手段】
【０００４】請求項１の計測方法は  短時間内に全ての計測点を計測するためＣＣＤカメラで被検体を含む一定の範囲を撮影し画像中の被検体以外の背景中の不動と思われる１以上複数の対象物やエリアや模様等をパターン認識やエッジ抽出等の画像処理技術により特定し、特徴点やそれらの平均値等、適正な代表点とＣＣＤカメラの位置を結ぶ線を基準線として被検体の変位等を算出する方法である。
（図１）２台のＣＣＤカメラ１，２で被検体４に貼付されたマーカー３の特徴点（画像処理しやすいＸ印マーカーの交点や被検体の一部である模様、端部等）の変位を背景中の不動点を基準点として計測する方法を示したものである。
背景中の不動点とは  輪郭やパターンのはっきりした強固な建造物５の外形輪郭や一部の窓、模様、文字、コンクリート構造物１０、街灯９や自然の強固な岩山１１等自然物の一部分でパターン、輪郭の明瞭なもの、またはこれら不動点に塗装、貼付したパターン、マーカー等である。（一定の規則性を持って変動する物体、自然物も含む。）
これらの点は被検体と同方向に多数あることが望ましい。
１ａはカメラ１の画像、２ａはカメラ２の画像であり、４ａａはカメラ１による被検体上Ｘ印マーカーの画像処理値、５ａａは背景中の強固な建物の外形輪郭をエッジ抽出した画像処理値、５ｂｂはカメラ２による強固な建造物の一部の窓の中心やエッジを抽出した画像処理値であり、これらの画像処理値はＣＣＤカメラのピクセル値（ＣＣＤ素子数）を基本単位とするものであり、ＣＣＤ素子の形状、寸法から実長を求めることも出来る。
これらの計測値から変位等を算出する方法を図２により説明する。
図２はカメラ１で画像処理によりエッジ抽出した値であり、垂直方向例の説明である。
水平方向についても同じ原理である。
被検体マーカーのＸ印の交点の画像処理値を４ａａ、建造物外形輪郭５ａａ、窓５ｂｂとする。
この場合カメラ１には建物全体が画格に入っており、外形輪郭も窓もカメラ１で処理できるものとする。
６は所謂ピンホール距離（レンズの固有値、カメラメーカー所掌値またはキャリブレーションにより求めることが出来る）、７はカメラから被検体マーカーまでの実距離である。
カメラの光軸１２を水平または既知の角度で設置する場合、基準線１−５ａ，１−５ｂの角度はカメラ光軸からの乖離角度から計算し基線とする。
カメラに水準器や傾斜計を併置し、光軸１２を水準器、傾斜計と並行に調整する機能を有すれば、操作上便利であるが、基準線の水平に対する角度がわかっている場合はこれを基線とし、被検体の基線から乖離する角度を計測すれば良いので、必ずしもカメラ光軸が水平に設置される必要は無い。
建造物を不動点とすると５ａａ／６  、５ｂｂ／６から算出される角度でありカメラ光軸（座標軸）１２からの離隔角度である。
さらに４ａａ／６は被検体マーカーの角度であり  ４ａａ／６に実距離７を乗じた値が水平軸からの上下方向位置となりその変化量が変位である。
本発明者の発明による特願平２００５−２５５７０１記載の比例法を利用すれば実距離７を予め計測しておく必要はなく、マーカ４の寸法４ａを定尺とすると、沈下計測などのように少ない範囲での変位は近似的に定尺と比例するとして変位を算出することも出来る。
さらにカメラ２とカメラ１の位置姿勢関係  各カメラから被検体、基準点の距離、基準点の形状、寸法がわかっている場合は未知の被検体の形状寸法も比例および三角関数計算から算出できる。（図１）（図２）
本発明が揺らぎの課題を解決する点は、被検体と基準点方向が同じ画格内にあり、上昇気流や、風向、気温分布等の条件が同じとなり、揺らぎの度合いが等しいため双方への影響が相殺されることにある。
計測器設置場所の地盤の変位、変形による誤差、バラツキも同じ理由により、相殺される。
また被検体と基準点方向が同じ画格内に無い場合でも、本発明を利用すれば誤差は軽減される。
揺らぎの影響の少ない場合も、背景中の不動点を１点以上複数点基準点として選定、設定することでより精度向上を図る事が出来るがこの場合は被検体と基準点の方向は同方向である必要は無い。
カメラ２を含む複数台のカメラが必要な理由は
多数の基準点の統計処理などにより基準点精度を向上する、
被検体の方向に採用できる基準点がない、
被検体と基準点が、被写界深度内に無く  双方同時にフォーカスが出来ない
場合等にカメラ１だけでは対応できないからであり、カメラ１，２の位置、方向関係は予めキャリブレーションにより取得しておく。
画像処理値した背景基準点の形状、点間距離、角度の変化量からカメラ自己位置、変位量を計算することも出来、背景基準点の実座標値や実寸法が既知の場合、背景基準点を計測することによりカメラの３次元自位置、姿勢も計算できる。（図５）（図６）
双方が被写界深度内に無い場合コンピュータ等によりカメラの遠隔操作行いフォーカスやズーム操作を行い微調整する必要があるが、この場合発生する光軸（座標系）のずれは、通常はエンコーダ等によりレンズ移動量を計測、フィードバックして補正する方法もあるが、ズームやフォーカス前後の被検体や背景基準点の形状や点間距離、角度の変化量から逆算、補正することも出来る。
（図７）はズーム、フォーカスを変更前後の状態を示す。
７０を基準座標系とした場合、ズームによる光軸の変化量７２を計測し、座標系のオフセットとして以後の計測を補正する。
同様に各基準点への交角をズーム前７０ａ，７０ｂ，７０ｃ、ズーム後７１ａ，７１，ｂ，７１ｃとするとその変化量でカメラの自姿勢変化量を計算することも出来る。
（図６）、（図７）は基準点を３点とした例であり、３角錐の頂点から底辺３点（基準点）を望む交角から頂点の位置姿勢を求める説明である。
基準点の数、形状に応じて公知の数学原理から計算することが出来る。【０００５】請求項２の発明は、請求項１の発明を効果的に実施する場合、同時に複数方向の画像を得る必要があるが、上下左右旋回装置付曲面乃至平面反射鏡、ハーフミラー、プリズム（旋回装置は角度検出センサー内蔵  以降反射鏡等と称す）の光学素子、冶具を利用して１台のカメラで画格範囲外の多方向の画像を得る方法である。
図３は反射鏡を利用した例である。
通常では１台のカメラでは図の配置の正面方向の被検体３，４しか得ることが出来ないが画格内の一部分に反射鏡３０を設置し、旋回装置制御により他方の被検体の画像を得ることが出来る。旋回装置には角度検出センサーが内蔵されており、２つの画像の交角値を得ることが出来、請求項１の計算に寄与することが出来る。
図４、図５は反射鏡の代わりにハーフミラー、プリズムを利用した例であり、これらの素子を組み合わせることによりあらゆる方向の複数の画像を同時に得ることが出来る。
【発明の効果】
【０００６】従来  揺らぎによる座標系の変動は不可避とされ、誤差を最小にするため多数の基準点を設置し、計測の都度  基準点計測を行い座標系を初期化して計測をしたり、温度湿度気流などを計測し補正をする、空気状態の落ち着いた時間帯に計測する等の対策を施していた。
本発明によれば  基礎工事を含め基準点の設置をする必要は無く、無限にある背景中遠方、近傍不動点を基準点として利用できるため  安価で高速に高精度の計測が行える。
揺らぎの影響のない場合においても基準点の設置工事をする必要が無いため  多数の基準点を安価に設置することが出来、経済合理的である。
今後建設現場、生産現場、日常生活において普及するであろう自走装置の自位置姿勢計算の一助ともなる。
【発明を実施するための最良の形態】
【０００７】市販品のデジタルビデオカメラを利用して、ソフトウエアを開発し、本発明試作機を試作し、５０ｍ程度の遠景を画像処理し、背景内の複数点の位置の計測実験を継続している。
同時に気温、湿度、風速、風向の計測も計測しており位置計測と空気状態の相関性の研究も行っている。
実験の結果  本発明を利用しない従来の方法では１日の間でも５０ｍの距離で揺らぎによる上下方向のバラツキは１０〜３０ｍｍ程度あり、特に雨後気温が上昇するときの計測誤差およびバラツキは特に大きいが、本発明を利用した場合の計測値のバラツキは３〜５ｍｍ程度であり、被検点と基準点方向が近いほど安定していて、本発明の効果が認められる。
【実施例】
【０００８】建設工事作業所にて本発明試作機と従来のＴＳによる地盤沈下計測を平行試験している。
【産業上の利用可能性】
【０００９】建設工事、製造加工業、運搬搬送機等移動体の変位等計測。
建設構造物、工作設置物等既設固定物体の変位等計測。
自走装置の自位置姿勢計測。
【図面の簡単な説明】
【００１０】
【図１】請求項１の全体構成図を示した図面である。
【図２】請求項１の計算原理を示した図である。
【図３】請求項２の発明の反射鏡による原理を示した図である。
【図４】請求項２の発明のハーフミラーによる原理を示した図である。
【図５】請求項２のプリズムによる原理を示した図である。
【図６】請求項２の複数の背景基準点から自位置姿勢を計算する方法を示した図である。
【図７】請求項２の複数の背景基準点からカメラのズーム変動による光軸変位を補正する方法を示した図である。
【符号の説明】
【００１１】１、          ２．．．ＣＣＤカメラ等
１ａ．．．．．カメラ１画像                    ２ａ．．．．．．カメラ２画像
３．．．被検体
４．．．被検体上マーカー                      ４ａ．．．．．被検体マーカー寸法
４ａａ．．．．．被検体マーカー画像処理値
４ｃ．．．．．．被検体上模様、エッジ、パターン等
５．．．．．．背景内建造物                    ５ａ．．．．．建造物  外形輪郭
５ａａ．．．．．．建造物  外形輪郭画像処理値
５ｂ．．．．．建造物内窓
５ｂｂ．．．．建造物内窓画像処理値
５ｃ．．．．背景内  模様、パターン等
６．．．．カメラ中心からＣＣＤ素子までの距離
７．．．．．．カメラ中心から被検体マーカーまでの距離
８．．．．．．カメラ中心から背景内建造物までの距離
９，１０，１１．．．．．背景内  街灯、コンクリート構造物、岩山等
３０．．．．．上下左右旋回機構付反射鏡
４０．．．．上下左右旋回機構付ハーフミラー
５０．．．．．プリズム
６１、６２．．．．．複数の背景基準点
６１ａ、６１ｂ、６１ｃ．．．．．．．カメラから基準点６１への交角
７０、７１．．．．．ズーム前後の光軸
７０ａ，７０ｂ、７０ｃ．．．．ズーム前のカメラから基準点への交角
７１ａ，７１ｂ、７１ｃ．．．．ズーム後のカメラから基準点への交角
７２．．．．．ズーム前後の乖離角度
【図１】
2007322407.tif 000003
【図２】
2007322407.tif 000004
【図３】
2007322407.tif 000005
【図４】
2007322407.tif 000006
【図５】
2007322407.tif 000007
【図６】
2007322407.tif 000008
【図７】
2007322407.tif 000009