(57)【特許請求の範囲】
【請求項１】
計測対象地形までの距離を計測するための視覚カメラ手段と、
車両の３次元絶対位置を検出する絶対位置検出手段と、
を車両に搭載すると共に、
前記視覚カメラ手段の撮像データに基づいて前記計測対象地形の車体座標系における３次元位置データを求める地形座標計測手段と、
前記絶対位置検出手段の検出データを用いて前記地形座標計測手段によって求めた計測対象地形の車体座標系における３次元位置データを絶対座標系における３次元位置データに変換する座標変換手段と、
前記計測対象地形を地面に沿った方向に連続的に撮像するための次の車両移動方向と移動距離を、前記絶対位置検出手段で検出した現在の車両位置における前記撮像データに基づく前記座標変換手段の変換データを用いて演算し、前記演算した車両移動方向に前記演算した移動距離だけ車両を  移動するように順次指令する撮像位置指令手段と、
この撮像位置指令手段によって指令された複数の異なる車両位置における前記視覚カメラ手段の撮像データに基づく前記座標変換手段の変換データを合成処理して計測対象地形の地形データを作成する地形データ作成手段と、
を具えるようにしたことを特徴とする地形形状計測装置。
【請求項２】
車両の姿勢角を検出する姿勢角検出手段を更に具え、
前記座標変換手段は、前記姿勢角検出手段の検出出力および前記絶対位置検出手段の検出データを用いて前記地形座標計測手段によって求めた計測対象地形の車体座標系における３次元位置データを絶対座標系における３次元位置データに変換するようにしたことを特徴とする請求項１記載の地形形状計測装置。
【請求項３】
前記車両移動方向と移動距離は前記撮像した対象地形の投影画像に基づいて演算されることを特徴とする請求項１記載の地形形状計測装置。
【請求項４】
前記地形データ作成手段の掘削の前後の作成地形データに基づき掘削された土工量を演算する土工量演算手段を更に備えるようにしたことを特徴とする請求項１記載の地形形状計測装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、車両を用いて鉱山や掘削現場などの計測対象地形の全体的な地形データを作成する地形形状計測装置に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
鉱山、採石現場などにおいては、掘削スケジューリングや工程管理を行うために、現場の地形情報は重要である。このため、従来においては、ＧＰＳを搭載した車両を掘削現場を走行させ、その際得られた３次元位置データによって地形形状を計測するようにしていた。
【０００３】
しかしながら、この手法では、車両が走行することができる地面の形状を測定することはできるが、掘削や工事の対象となる地山や切羽の形状を計測することはできない。
【０００４】
この発明はこのような実情に鑑みてなされたもので、鉱山、地山、切羽などの車両が走行することができない部分の地形形状を効率よく計測できるようにした地形形状計測装置を提供することを目的とする。
【０００５】
【課題を解決するための手段及び作用効果】
請求項１に対応する発明では、計測対象地形までの距離を計測するための視覚カメラ手段と、車両の３次元絶対位置を検出する絶対位置検出手段とを車両に搭載するとともに、前記視覚カメラ手段の撮像データに基づいて前記計測対象地形の車体座標系における３次元位置データを求める地形座標計測手段と、前記絶対位置検出手段の検出データを用いて前記地形座標計測手段によって求めた計測対象地形の車体座標系における３次元位置データを絶対座標系における３次元位置データに変換する座標変換手段と、前記撮像手段によって計測対象地形を撮像するための複数の異なる車両位置を車両に対して指令する撮像位置指令手段と、この撮像位置指令手段によって指令された複数の異なる車両位置における前記視覚カメラ手段の撮像データに基づく前記座標変換手段の変換データを合成処理して計測対象地形の地形データを作成する地形データ作成手段とを具えるようにしている。
【０００６】
この請求項１に対応する発明では、車両に搭載した視覚カメラ手段の撮像データに基づき計測対象地形の車体座標系における３次元位置データを求め、この３次元位置データを車両に搭載した絶対位置検出手段の出力に基づき絶対座標系での３次元位置データに変換する。車両位置を変化させることで視覚カメラ手段の視野を異ならせて計測対象地形の異なる領域を撮像し、これら撮像データから得られた各領域の絶対座標系での３次元位置データを合成処理することで、計測対象地形の全体的な形状データを取得する。
【０００７】
このようにこの請求項１に対応する発明によれば、視覚カメラ手段の撮像データから得られた計測対象地形の車体座標系における３次元位置データを絶対座標系に変換するようにしたので、撮像した異なる領域の計測対象地形の合成を極めて簡単に行えるようになり、計測対象地形の全体像を容易に取得できるようになる。
【０００８】
請求項２に対応する発明では、車体の姿勢角を検出し、この検出した姿勢角分を補正して計測対象地形の絶対座標系における３次元位置データを求めるようにしたので、より正確な計測対象地形の形状データを得ることができる。
【０００９】
請求項３に対応する発明では、計測対象地形を地面に沿った方向に連続的に撮像できるように撮像位置を車両に指令するようにしたので、撮像データが大きくオーバラップしたり、間欠的になったりすることがなくなり、計測対象地形の全体像を効率よく取得できるようになる。
【００１０】
請求項４に対応する発明では、掘削の前後の地形データに基づき掘削された土工量を演算するようにしたので、その体積から掘削量を判断できるようになる。すなわち、建設現場の仕事量は重量ではなく体積で求められることがおおく、そのための有用な手法となる。
【００１１】
【発明の実施の形態】
以下この発明の実施形態を添付図面に従って詳細に説明する。
【００１２】
図１は、地形形状計測装置を搭載した車両１を示すもので、車両１は、自動走行、遠隔操縦走行、または有人走行の何れの走行制御を行うものでもよいが、少なくともＧＰＳ（グローバル．ポジショニング．センサ）などを用いたナビゲーション機能を有しているものとする。
【００１３】
この場合には、車両１は有人走行を行うものとするので、ＧＰＳナビゲーション用のＧＰＳモニタを有し、このＧＰＳモニタ上には車両が走行している地図が表示され、この地図上のいずれの位置に車両が位置しているかを表示することができるとする。
【００１４】
以下の実施例では、計測対象地形は地山の切羽部であるとする。
【００１５】
図１において、車両１には、地山の立体的な全体的形状を原画像でモニタするためと、地山の車体１に対する３次元位置を測定するために、視覚カメラ手段としてのカメラ２が備えられており、この場合は２台のカメラまたは多眼カメラによる視差を利用したステレオ法により、地山までの距離を測定する。
【００１６】
すなわち、カメラ２台の場合を例にあげると、図２の上半分は左カメラによって撮像された地形を示すもので、下半分は右カメラによって撮像された同じ地形部分を示すものとする。まず、例えば左カメラ画像に対し、複数の点マトリックス（ｉ，ｊ）を設定する。そして、左カメラ画像の１つの点（ｉ，ｊ）の画像が右カメラ画像のうちのどの点に対応するかをパターンマッチングなどの手法を用いて探査する。そして、対応する点が求められると、これら両点の画像上での位置を求め、さらにこれらの視差ｄを求める。そして、該視差ｄの他に、両カメラ間の距離、両カメラの焦点距離を用いて点（ｉ，ｊ）から両カメラを結ぶ線分までの距離データを求める。このような処理を、各点に関して繰り返し実行することにより距離データを求める。
【００１７】
距離画像生成装置３は、上記のようにして地山までの距離データを演算する。このようにして得られた各（ｉ，ｊ）画素毎の距離データｄは、距離ｄに応じた階調データに変換されモニタ１０に出力されることにより、モニタ１０に距離画像が表示される。なお、モニタ１０にはカメラ２で撮像した原画像も入力されており、モニタ１０は距離画像および原画像の双方を表示することができる。
【００１８】
また、距離画像生成装置３では、前述したように、（ｉ，ｊ，ｄ）の３次元情報に対応付けられた距離画像データを、図３に示すように、車両１の所定地点を原点とする車体座標系Ｘ1−Ｙ1−Ｚ1の３次元座標データ（Ｘｐ1，Ｙｐ1，Ｚｐ1）に変換する。
【００１９】
位置計測センサ４は、車両１の３次元位置を検出するもので、この場合は、ＧＰＳ受信機を用いるようにしている。すなわち、位置計測センサ４は、図３に示すように、車体座標系Ｘ1−Ｙ1−Ｚ1の原点位置（ＨＸ0，ＨＹ0，ＨＺ0）を検出する。ＧＰＳ受信機による３次元位置データは、アンテナ５を介して入力される。なお、ＧＰＳ受信機から得られたデータに基づいてモニタ１０上に、車両１が走行しているエリアの地図が表示され、この地図上のいずれの位置に車両が位置しているかを表示することができる。
【００２０】
回転角度検出センサ６は、例えば、車両１の車体のヨー方向の回転角を検出するヨーレイトジャイロと、車体のピッチング角およびローリング角を検出する２つの傾斜計から成り、これらの検出結果に基づき車体３方向の回転角、すなわち姿勢を検出する。すなわち、図３において、Ｘ0−Ｙ0−Ｚ0を絶対座標系（全体座標系）とすると、回転角検出センサ６からは、全体座標系Ｘ0−Ｙ0−Ｚ0に対する車体座標系Ｘ1−Ｙ1−Ｚ1の回転角を表す車体の回転角（ＲＸ0，ＲＹ0，ＲＺ0）を出力される。
【００２１】
地形計測部７では、主につぎの３つの処理を実行する。
【００２２】
(a)距離画像生成装置３から得られた地山の車体座標系における３次元位置データを回転角度検出センサ６および位置計測センサ４の出力を用いて絶対座標系における３次元位置データに変換する。
(b)カメラ２で撮像した複数箇所の地山の地形データを合成して地山の全体的な地形データを作成する。
(c)地山を連続的に撮影する為の車両位置（撮像用車両位置）を演 算する。この演算された撮像用車両位置は、モニタ１０のナビゲーションマップ上に表示される。
【００２３】
つぎに、図４のフローチャートを参照して、地山の形状計測を行う手順について説明する。
【００２４】
まず、車両１を地山の切羽の手前の計測開始位置まで移動する（ステップ１００）。この際、図５に示すように、画角３０度のカメラ２で幅２０ｍの切羽を撮像する場合、３７ｍ以上の距離が必要になるが、モニタ１０で距離画像を見ながら３７ｍの距離になるよう車両を移動させるようにすればよい。
【００２５】
車両が計測開始位置に位置すると、この地点でカメラ２を用いて地山を撮像する。地形計測部７では、距離画像生成装置３から得られた地山の車体座標系における３次元位置データを回転角度検出センサ６および位置計測センサ４の出力を用いて絶対座標系における３次元位置データに変換するのであるが、これは次のようにして行われる。
【００２６】
すなわち、図３に示すように、車体座標系Ｘ1−Ｙ1−Ｚ1のある点Ｐの３次元座標データ（Ｘｐ1，Ｙｐ1，Ｚｐ1）は、回転角度検出センサ６から入力される回転角（ＲＸ0，ＲＹ0，ＲＺ0）と、位置計測センサ４から入力される車体座標系Ｘ1−Ｙ1−Ｚ1の原点位置（ＨＸ0，ＨＹ0，ＨＺ0）を用いて、次式（１）に示すように、絶対座標系Ｘ0−Ｙ0−Ｚ0における座標位置（Ｘｐ0，Ｙｐ0，Ｚｐ0）に変換することができる。
【００２７】
0003720972.tif 000002
ただし、上記（１）式において、ＭＲ0は、車体座標系の回転マトリクスであり、車体の回転角を用いて次式（２）のように表される。
【００２８】
0003720972.tif 000003
このような式（１）での処理を距離画像の各画素に対して行う事で、第１番目の撮像位置で撮像した地形の絶対座標系での３次元位置データを求めることができる（ステップ１１０）。
【００２９】
次に、地山の連続的な地形計測を行うための次の撮像ポイントを演算する。
【００３０】
すなわち、次の撮像地点が適正に設定されないと、図６に示すように、撮像エリアａ0部とつぎの撮像エリアｂ部の間に撮像されていないエリアが発生したり、あるいは撮像がオーバーラップする領域が大きくなりすぎたりして効率の良い地形計測を行う事ができない。
【００３１】
そこで、この実施例では、図７に示すように、連続的な撮像が行える撮像ポイントＡ0，Ａ1，Ａ2，…を順次求め、該求めた撮影ポイントに車両１を移動させて撮像を行うようにしている
この処理は次のようにして行われる。
【００３２】
まず、図８に示すように、第１番目の撮像ポイントＡ0（Ｘg0，Ｙg0，Ｚg0）で撮像した距離画像あるいは先のステップ１１０で求めた絶対座標系における３次元位置データに基づいて、第１番目の撮像ポイントで撮像した地山までの平均距離Ｌ（図９参照）を求める。
【００３３】
つぎに、計測幅Ｌ0を求め、さらに地山の表面部分を近似する直線Ａの式を求める。
【００３４】
まず、距離画像生成装置３から得られた地山の車体座標系における３次元位置データを回転角度検出センサ６から得られる車体回転角（ＲＸ0，ＲＹ0，ＲＺ0）を用いて補正する。すなわち、図３に示すように、車体座標系Ｘ1−Ｙ1−Ｚ1のある点Ｐの３次元座標データ（Ｘｐ1，Ｙｐ1，Ｚｐ1）は、回転角度検出センサ６から入力される回転角（ＲＸ0，ＲＹ0，ＲＺ0）を用いて、次式（３）に示すように、座標位置（Ｘｐ2，Ｙｐ2，Ｚｐ2）に変換する。
【００３５】
0003720972.tif 000004
この変換したデータをＺ−Ｘ平面上に投影する。この投影のときに、高さＹ方向の所定の範囲の部分の距離画像を投影するようにしてもよい。例えば、Ｙ方向は掘削機のとどく範囲である０〜１０ｍとする。Ｚ方向はカメラ２によって捉える距離方向に対応し、Ｘ方向は水平方向、Ｙ方向は高さ方向とする。この投影の結果、図１０に示すような投影画像が得られたとする。この投影画像中のＺ方向についての最下点を選択し（黒丸で示している）、これらの最下点を最小２乗法などを用いて直線近似することで直線Ａの式
ＡpＸ＋ＢpＺ＋Ｄ＝０                  …（４）
を求める。
【００３６】
この（４）式に、位置計測センサ４から入力される車体位置データのＸ，Ｚ成分を付加すれば、次式（５）のように、線Ａの絶対座標系での式を求めることができる。
【００３７】
Ａp（Ｘ＋ＨＸ0）＋Ｂp（Ｚ＋ＨＺ0）＋Ｄ＝０    …（５）
また、計測幅Ｌ0は、図１０の最下点のデータの両端の座標を求め、これら座標間の距離を求める事で演算することができる（ステップ１２０）。
【００３８】
このようにして、計測幅Ｌ0と計測対象地形の表面の近似式Ａが求まると、第１撮像ポイントＡ0（Ｘg0，Ｙg0，Ｚg0）を通る線Ａに平行な線Ｂを求め、この直線Ｂ上のＡ0地点から距離Ｌ0だけ離れた地点を次の撮像ポイントＡ1とする。
【００３９】
すなわち、Ａ0（Ｘg0，Ｙg0，Ｚg0）を通る線Ｂは次式（６）のようになり、
ＡpＸ＋ＢpＺ−（ＡpＸgo＋ＢpＺgo）＝０…（６）
また、次の撮像ポイントＡ1のＸ，Ｚ座標は、次式（７）ように
0003720972.tif 000005
なる（ステップ１３０、１４０）。
【００４０】
このようにして、次の撮像ポイントＡ1の位置が計算されると、この位置データに基づいて、次の撮像ポイントＡ1をモニタ１０のナビゲーションモニタ上に表示する。
【００４１】
この表示をみて、運転者は車両を次の撮像ポイントＡ1まで移動させる（ステップ１５０）。
【００４２】
以下、地山の全ての領域の計測が終了するまで、上述の処理を繰り返し行うようにする（ステップ１６０）。
【００４３】
地形計測部７では、このようにして得られた撮像ポイントの異なる複数の領域の地形データを合成することで、地山の全体的な形状データを作成する。この合成の際、各領域の地形データは絶対座標系で表されているので、その合成処理を極めて簡単に行えるようになり、計測対象地形の全体像を容易に取得できる。
【００４４】
また、この実施例では、地山を地面に沿った方向に連続的に撮像するための撮像ポイントを順次演算し、これらの撮像ポイントに移動して地形の撮像を行うようにしたので、撮像データが大きくオーバラップしたり、間欠的になったりすることがなくなり、計測対象地形の全体像を効率よく取得できるようになる。
【００４５】
なお、上記実施例においては、複数の計測領域が全くオーバーラップすることなく連続的になるように、次の撮像ポイントまでの移動距離Ｌ0を設定するようにしたが、計測データの誤差などによって計測領域が空いてしまうことを防止するために、この移動距離Ｌ0を例えば０．９×Ｌ0とし、計測領域を若干オーバーラップさせるようにしてもよい。
【００４６】
また、ある撮像ポイントＡ0で計測した次の計測領域との境界部（図８において例えばＰ点）が次の撮像ポイントＡ1での撮像の際のカメラの視野に確実に入るように、カメラ２自体の水平方向の角度あるいは車体１の水平方向の角度を変更するようにしてもよい。この際には、Ａ0地点、Ｐ点、Ａ1地点の各座標およびカメラ２の画角が判っているので、これらのデータを用いて撮像ポイントＡ1でＰ点をカメラの視野内に捉えることができるカメラ２の角度、あるいは車体角度を演算するようにすればよい。
【００４７】
また、先の図６に示したように、計測領域の抜けが生じた場合は、これらの部分の計測データを補間演算などを用いて補うようにしてもよい。
【００４８】
さらに、計測対象地形の高さが高く、一度の撮像では計測対象地形の上部領域（図９のＱで示す部分）が撮像できない場合は、カメラ２の角度を上方に変化させて撮像を行うようにする。この際には、カメラ２の上下方向の回転角の変化分θcを検出するセンサを設け、先の式（２）に示した回転マトリックスを次式（８）のようにして、式（１）の座標変換演算を行うようにすればよい。
【００４９】
0003720972.tif 000006
式（２）と式（８）の違いは、ＲＹ0がＲＹ1に変わっただけである。ただし、ＲＹ1＝ＲＹ0＋θcである。
【００５０】
このようにカメラ１の角度を上下に変化させて得られた３次元位置データも絶対座標系であるので、下方の計測領域の３次元位置データと簡単に合成することができる。
【００５１】
ところで、以上のようにして得ることができる切羽の３次元位置データを掘削の前と後で取得するようにすれば、それらを用いて図１１に示すようにして土工量を簡単に演算することができる。
【００５２】
すなわち、図１１(a)は掘削前の切羽の３次元形状を示すものであり、図１１(b)は掘削後の切羽の３次元形状を示すものであるが、これらの各３次元形状データから掘削前後の切羽の体積をそれぞれ求め、これらの差を演算することで今回の掘削の土工量を求めることができる。また、掘削前後の切羽の３次元形状から図１１(c)に示すように実際に掘削された部分の形状データを求めることもでき、実際に掘削された部分の形状データから土工量を演算するようにしてもよい。通常、土工量は、土砂を積み込んだダンプトラックの重量を累計することで演算されるが、この場合は掘削される側の切羽部分の形状に基づき掘削土量を演算するようにしているので、何回も掘削、積み込み作業が行われた場合でも、最初の切羽の状態と最終的な切羽の状態を計測するようにすれば、トータル的な土工量を一度に簡単に求めることができる。
【００５３】
また、上述のようにして得られる切羽の３次元位置データを毎日や数日置きに計測し、これらの計測データを記憶保存しておくようにすれば、掘削の履歴データが得られることになり、掘削スケジューリングや工程管理のために非常に有用である。
【００５４】
なお、実施例の車両１に遠隔操縦や自動走行を行わせる場合は、少なくとも、ステレオカメラ２、ＧＰＳなどの位置計測センサ４、回転角度検出センサ６および距離画像生成装置３を車両に搭載し、これらのデータを無線などで基地局に伝送するようにすれば、他の地形計測部７やモニタ１０などの構成要素は車両１から省略することができる。
【００５５】
また、上記実施例では有人走行を行う場合を例にとったので、各撮像ポイント位置を車両上のＧＰＳモニタ上に表示するようにしたが、遠隔操縦を行う場合は各撮像ポイント位置を遠隔操作盤上に表示させるようにすればよい。また自動走行を行わせる場合は、特に車両の移動のためには各撮像ポイント位置をモニタ表示する必要はなく、演算した各撮像ポイント位置を車両の自動走行制御系に指令するようにすればよい。
【００５６】
また、車両１をパワーショベルやホイールローダなどの掘削機とし、これら掘削機に図１の構成要素を搭載するようにしてもよい。
【図面の簡単な説明】
【図１】この発明の実施例を示すブロック図。
【図２】ステレオカメラ法による距離計測の原理を説明する図。
【図３】車体座標系と絶対座標系の関係を示す図。
【図４】地形計測の手順を示すフローチャート。
【図５】計測対象地形とステレオカメラの配置関係を示す図。
【図６】間欠的な計測を行う場合の説明図。
【図７】連続的な計測を行う際の説明図。
【図８】連続的な計測を行うための次の撮像ポイントを求める手法を説明する図。
【図９】カメラと計測対象との距離Ｌを説明する図。
【図１０】次の撮像ポイントを求めるための車両移動方向を求めるための説明。図
【図１１】土工量の管理を行うための手法を説明する図。
【符号の説明】
１…計測車両
２…ステレオカメラ
３…距離画像生成装置
４…位置計測センサ
５…アンテナ
６…回転角度検出センサ
７…地形計測部
１０…モニタ
【図１】
0003720972.tif 000007
【図２】
0003720972.tif 000008
【図３】
0003720972.tif 000009
【図４】
0003720972.tif 000010
【図５】
0003720972.tif 000011
【図６】
0003720972.tif 000012
【図７】
0003720972.tif 000013
【図８】
0003720972.tif 000014
【図９】
0003720972.tif 000015
【図１０】
0003720972.tif 000016
【図１１】
0003720972.tif 000017