(57)【特許請求の範囲】
【請求項１】
予め一定の規則を有する複数のマーカを設けた作業現場を撮像する撮像装置と、
前記撮像装置によって撮像された作業現場の画像を表示画面上に表示する表示装置と、
前記撮像装置によって撮像された作業現場の画像から、前記複数のマーカを抽出する抽出手段と、
前記抽出手段によって抽出された複数のマーカの前記表示画面に対する位置情報を算出するマーカ位置算出手段と、
必要とする施工線の作業現場における位置条件情報を設定する位置条件設定手段と、
前記マーカ位置算出手段によって算出された位置情報と、前記位置条件設定手段によって設定された施工線の位置条件情報とに基づいて、前記施工線の表示画面上の位置を算出する表示位置算出手段と、
前記表示位置算出手段による算出結果に基づいて、前記表示装置の表示画面上に施工線を表示する表示制御手段と、
を有することを特徴とする施工線表示システム。
【請求項２】
前記マーカは、作業現場内の三次元位置が既知である場所を選んで設けられている請求項１記載の施工線表示システム。
【請求項３】
前記マーカは、作業現場内の平坦面に等間隔で設けられている請求項１または２記載の施工線表示システム。
【請求項４】
前記マーカは、無人作業機械によって設けられたものである請求項１〜３のいずれか１項記載の施工線表示システム。
【請求項５】
前記マーカは、直線に沿って３つ以上設けられている請求項１〜４のいずれか１項記載の施工線表示システム。
【請求項６】
前記複数のマーカのうち２つのマーカを用いて基準線の表示画面上の位置を算出するとともに、３つ以上のマーカを用いて前記基準線と一定の角度を有する施工線の表示画面上の位置を算出し、基準線と施工線とを表示装置の表示画面上に表示する請求項１〜５のいずれか１項記載の施工線表示システム。
【請求項７】
前記表示装置が遠隔地に設けられている請求項１〜６のいずれか１項記載の施工線表示システム。
【請求項８】
前記表示装置が作業機械に搭載されている請求項１〜６のいずれか１項記載の施工線表示システム。
【請求項９】
前記表示装置が遠隔地に設けられるとともに、作業機械に搭載され、互いに共通の表示を行うようにした請求項１〜６のいずれか１項記載の施工線表示システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラからの撮像信号に基づいて作業現場における所望位置の施工線を算出し、モニタ画面に作業現場の映像とともに仮想的に表示する施工線表示システムに関する。
【０００２】
【従来の技術】
従来より、作業現場で施工線を引く作業としては、例えば砂防ダム等でのセンターライン墨出しや、土砂型枠の法尻、法肩墨出しを含む各種の施工用墨出し作業が行われている。
ところで、最近では、例えば火山の噴火口付近にある作業現場がある場合のように、一定の危険性を有するような作業現場について、できるだけ人間の立入る機会を少なくし、より安全性を考慮した各種の無人作業システムが提案され、実用化されつつある。
この無人作業システムは、各種の作業機械を各種の無線信号を用いた遠隔操作によって遠隔地から操作を行い、できるだけ作業を無人化することにより、安全性を確保しようとするものである。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述のような無人化システムにおいては、作業機械の制御や監視については遠隔操作によって行えるものの、各種作業の基準となる施工線を引く作業は人手によって行わねばならず、危険性を伴う場所に作業者が立ち入って行うことになり、安全性の点で好ましくない。
また、有人作業を行う場合でも、作業現場における各種の施工線を人手をかけずに、簡易に引くことができれば、その後の作業を効率よく行うことができ、極めて有利である。
【０００４】
そこで本発明の目的は、様々な作業現場において、各種の施工線を人手をかけずに、容易かつ迅速に設定して利用することができる施工線表示システムを提供することにある。
【０００５】
【課題を解決するための手段】
本発明は前記目的を達成するため、予め一定の規則を有する複数のマーカを設けた作業現場を撮像する撮像装置と、前記撮像装置によって撮像された作業現場の画像を表示画面上に表示する表示装置と、前記撮像装置によって撮像された作業現場の画像から、前記複数のマーカを抽出する抽出手段と、前記抽出手段によって抽出された複数のマーカの前記表示画面に対する位置情報を算出するマーカ位置算出手段と、必要とする施工線の作業現場における位置条件情報を設定する位置条件設定手段と、前記マーカ位置算出手段によって算出された位置情報と、前記位置条件設定手段によって設定された施工線の位置条件情報とに基づいて、前記施工線の表示画面上の位置を算出する表示位置算出手段と、前記表示位置算出手段による算出結果に基づいて、前記表示装置の表示画面上に施工線を表示する表示制御手段とを有することを特徴とする。
【０００６】
本発明の施工線表示システムにおいて、撮像装置では、予め一定の規則を有する複数のマーカを設けた作業現場を撮像する。抽出手段は、この撮像装置によって撮像された作業現場の画像から、複数のマーカを抽出する。マーカ位置算出手段は、抽出手段によって抽出された複数のマーカの表示画面に対する位置情報を算出する。
一方、位置条件設定手段では、必要とする施工線の作業現場における位置条件情報が設定されており、表示位置算出手段では、マーカ位置算出手段によって算出された位置情報と、位置条件設定手段によって設定された施工線の位置条件情報とに基づいて、施工線の表示画面上の位置を算出する。
そして、表示制御手段では、この表示位置算出手段によって算出された情報に基づいて、表示装置の表示画面上に施工線を表示する。また、表示装置の表示画面上には、撮像装置によって撮像された作業現場の画像が表示されており、この作業現場の画像の上に施工線を仮想的に表示することにより、この表示画面を見て作業状況を把握できる。
【０００７】
したがって、例えば、表示装置を遠隔地に設置して作業機械を無線等で遠隔操作し、無人作業を行うような場合には、表示画面に表示される施工線と作業機械との位置関係を視認しながら、作業機械の遠隔制御を行うことができる。
また、有人作業を行う場合に、作業機械に表示装置を搭載し、これを作業機械に乗った作業者が視認することにより、表示画面に表示される施工線と作業者自身の運転する作業機械との位置関係を視認しながら、作業機械の制御操作を行うことができる。
また、作業機械による作業ではなく、手作業で機材の設置等を行う場合に、その設置場所に表示装置を設置することにより、表示画面に表示される施工線と機材の設置位置等の位置関係を視認しながら、設置作業等を行うことができる。
このように、本発明による施工線表示システムは、様々な用途に用いることができ、簡易に必要な施工線を設定して種々の作業を行うことができる。また、特に実際の施工線を引き難いような場合、例えば中間に障害物がある場合等にも施工線を自在に設定することができ、多様な用途に応用が可能である。
【０００８】
【発明の実施の形態】
以下、本発明による施工線表示システムの実施の形態について説明する。
図１は、本実施の形態による施工線表示システムを実現するためのハードウエアの構成例を示すブロック図であり、図２は、図１に示す施工線表示システムにおける処理動作を示すフローチャートである。
また、図３は、図１に示す施工線表示システムのビデオカメラによって作業現場を撮像している状態を示す説明図であり、図４は、図３に示すビデオカメラの作業現場における配置例を示す正面図及び平面図であり、図５は、図１に示す施工線表示システムの表示装置における表示例を示す正面図である。
【０００９】
本例による施工線表示システムは、施工面の３次元位置が既知であるポイント（本例ではコンクリートの路面上）に、有色で特定形状のマーカ（例えば直径１０ｃｍ程度）Ｍ１〜Ｍ３を数カ所（本例では直線上に３カ所）に等間隔で塗布、または吹き付けし、これらマーカＭ１〜Ｍ３をビデオカメラ（撮像装置）で撮影する。そして、このカメラ映像から、画像処理技術によってマーカＭ１〜Ｍ３を認識し、マーカＭ１〜Ｍ３のセンタを通るラインＡ（基準線）をコンピュータグラフィックスにより作成し、ＴＶモニタ（表示装置）の画面上にカメラ映像に重ね合わせて表示する。また、そのラインＡからオペレータによって指定された距離だけ離れたラインＢ（施工線）を同様に作成して表示する。
なお、マーカＭ１〜Ｍ３を設ける方法としては、無人運転による作業機械によって行うことも可能であるし、有人運転による作業機械、あるいは手作業によって行うことも可能である。すなわち、作業現場の実情に応じて選択し得るものである。
【００１０】
次に、図１に基づき、本例の施工線表示システムの構成について説明する。
まず、ビデオカメラ１０は、作業現場を撮像する撮像装置であり、動画撮影用のデジタルビデオカメラを用いている。また、本例では、３つ以上のマーカＭ１〜Ｍ３を捉えることができる視野角度を有し、マーカＭ１〜Ｍ３の色を識別するために、カラー撮像用のものを用いている。
このビデオカメラ１０は、作業現場において上述したラインＡのほぼ延長線上であって作業区域全体を見渡せる場所に設置されており、カメラ雲台は、施工面に対して水平に設置されている。したがって、ビデオカメラ１０の角度を遠隔操作等によって制御した場合に、その制御量からビデオカメラ１０の光軸と施工面との角度を割り出すことが可能であり、この角度データが制御装置２０に逐次取り込まれるようになっている。
【００１１】
制御装置２０は、上述したビデオカメラ１０からの映像信号に基づいて、ラインＡ、Ｂを算出してＴＶモニタ４０に表示する制御を行うものであり、ビデオカメラ１０によって撮影された作業現場の画像から、各マーカＭ１〜Ｍ３を抽出する抽出手段と、抽出されたマーカＭ１〜Ｍ３の後述するＴＶモニタ４０の表示画面に対する位置情報を算出するマーカ位置算出手段と、マーカ位置算出手段によって算出された位置情報と、後述する操作部３０から設定された施工線の位置条件情報とに基づいて、施工線の表示画面上の位置を算出する表示位置算出手段と、表示位置算出手段による算出結果に基づいて、ＴＶモニタ４０の表示画面上に施工線を表示する表示制御手段とを含むものである。なお、これらの手段は、例えば制御装置２０内のメモリに搭載されたソフトウエアによって実現されるものである。
また、操作部３０は、制御装置２０に対して各種キー入力を行うものであり、特に本システムでは、施工線を引くための各種の位置条件情報を設定する位置条件設定手段として機能するものである。
また、ＴＶモニタ４０は、上述したビデオカメラ１０で撮影されたカメラ映像（動画）とラインＡ、Ｂを表示するものであり、ＣＲＴやＬＣＤを用いたものである。
【００１２】
なお、以上の制御装置２０、操作部３０、及びＴＶモニタ４０のユニットは、遠隔制御による無人作業を行う場合には、作業現場から離れた遠隔地の例えばコントロールルーム等に配置され、また、有人作業を行う場合には、作業者によって運転される作業機械に搭載されているものとする。また、制御装置２０、操作部３０、及びＴＶモニタ４０をコントロールルームに設置するとともに、同様のＴＶモニタ４０を作業機械に搭載し、制御装置２０によって処理されたラインＡ、Ｂの信号を無線通信等によって伝送し、作業機械のＴＶモニタ４０に表示するようなシステムであってもよい。
【００１３】
以上のような施工線表示システムの動作について図２のフローチャートに沿って説明する。
まず、ステップＳ１において、ビデオカメラ１０で撮影されたカメラ映像は、逐次ＴＶモニタ４０に送られて表示される（ステップＳ３）。
また、ビデオカメラ１０で撮影されたカメラ映像は、画像処理のために制御装置２０に取り込まれ（ステップＳ４）、抽出手段によってマーカの認識と、マーカＭ１〜Ｍ３の重心計算が行われる（ステップＳ５）。本例のマーカＭ１〜Ｍ３は、所定の色で十字形に形成されており、抽出手段では、色及び形状の認識によってマーカを認識し、さらに、十字形の重心をパターン認識処理によって認識することにより、各マーカＭ１〜Ｍ３の重心座標を算出するものである。
【００１４】
このような処理の後、求められた２つのマーカの座標情報に基づき、最小二乗法を含む手法により各マーカＭ１〜Ｍ３を通るラインＡを作成する（ステップＳ６）。また、３つのマーカの座標情報に基づき、撮影面の平面形（角度）を特定する（ステップＳ７）。
一方、上述した操作部３０において、オペレータの入力により、ラインＢの数、各ラインＢのラインＡからの離れ距離、各ラインＢの方向等の情報（位置条件情報）が入力され、制御装置２０内のメモリ等に設定されているものとする（ステップＳ８）。
そこで、制御装置２０の表示位置算出手段では、ステップＳ６、Ｓ７、Ｓ８によって設定された情報に基づいて、オペレータの指示に対応するラインＢを作成する（ステップＳ９）。このようにして作成したラインＡ、及びラインＢの情報を制御装置２０の表示制御手段によってスーパインポーズ処理し（ステップＳ２）、先にＴＶモニタ４０に表示されている作業現場の映像の上に表示する。この結果、ＴＶモニタ４０には、図５に示すような画像が表示される。
【００１５】
次に、上述したステップＳ６〜Ｓ９におけるラインＡ、及びラインＢの作成方法の原理について説明する。
図３に示すように、既知のマーカＭ１〜Ｍ３を施した施工面（コンクリート面）５０に対してカメラ１０の光軸は、一定の角度を有しているため、施工面５０上の位置は、そのまま表示画面に表示されないものである。
そこで、本例では、３つの既知マーカＭ１〜Ｍ３の表示画面（カメラ映像）上での座標位置を読み取り、この座標位置に基づいて施工面５０上の位置と表示画面上の位置との関係を割り出し、指定されたラインＢを表示座標を算出して表示する。
まず、ラインＡについては、２つのマーカ（例えばＭ１、Ｍ２）の重心位置を結ぶ線を算出することにより作成できる。
【００１６】
次に、ラインＢを引くためには、３つのマーカＭ１〜Ｍ３によって施工面５０の角度を特定することにより行う。つまり、施工面５０上の各マーカＭ１〜Ｍ３の間隔Ｘ１、Ｘ２は等間隔であるが、モニタ画面上では異なる間隔で表示されることになる。そこで、各マーカＭ１〜Ｍ３のモニタ画面上での間隔を算出し、この間隔の差に基づいて、ラインＡとラインＢの距離間隔を算出する。
図５に示す表示例は、施工面５０上ではラインＡとラインＢが平行である場合の例であるが、図示のようにモニタ画面上では互いに平行でないラインＡとラインＢが表示されることになる。つまり、カメラ１０に近い位置では、ラインＡとラインＢの間隔が大きくなり、カメラ１０に遠い位置では、ラインＡとラインＢの間隔が小さくなる。このように各ラインＡ、Ｂ間の間隔が変化する割合を上述した各マーカＭ１〜Ｍ３のモニタ画面上での間隔の差によって算出し、ラインＢを設定するものである。
【００１７】
また、以上の例は、ラインＢがラインＡに平行である場合について説明したが、ラインＡに対して一定の範囲で傾斜したラインＢを引くことも可能である。この場合には、まず、オペレータによって入力されたある点の距離を基準値にしてラインＡに平行な仮のラインを算出し、この算出した仮のラインに対して傾斜角度を加味したラインＢを算出すればよい。
なお、この方法では、ラインＡに対するラインＢの傾斜角度が大きくなると、誤差が大きくなってしまうことが予想されるが、その場合には、後述するように、さらに多数のマーカを施工面５０に２次元方向に分散して設け、各マーカを用いた演算によって対応することが可能である。
【００１８】
なお、以上のような施工線表示システムにおいて、表示装置としては、設置型の装置に限らず、ＬＣＤ等を用いた携帯型の表示装置を各作業者が個別に携帯できるようにし、この携帯型の表示装置に対して無線によって画像信号を伝送し、作業現場の画像と施工線を表示することにより、各作業者が個別に表示を参照して作業を行えるようにしてもよい。
また、以上の例では、３つのポイントに設けたマーカによって施工線を算出するようにしたが、より多くのポイントに設けたマーカにより施工線を算出するようにしてもよい。特に施工面の方向に対してカメラの取付け方向を水平に設定しづらいような場合に、より多くのマーカを２次元方向に設けることにより、施工面の２次元方向の角度を算出し、これに基づいて施工線を算出するような方法も可能である。
また、以上の例では、基準線に対してほぼ平行線に近い施工線を引く場合について説明したが、さらに多彩な施工線を引くことも可能であり、特に上述したように多数のマーカを２次元方向に設けるようにすれば、基準線に対して様々な角度を有する施工線を正確に算出して表示することが可能となる。
また、施工線としては、直線に限らず、ある点を中心とする曲率線を設けることも可能である。
【００１９】
以上のような施工線表示システムでは、例えば、表示装置を遠隔地に設置して作業機械を無線等で遠隔操作し、無人作業を行うような場合には、表示画面に表示される施工線と作業機械との位置関係を視認しながら、作業機械の遠隔制御を行うことができる。
また、有人作業を行う場合に、作業機械に表示装置を搭載し、これを作業機械に乗った作業者が視認することにより、表示画面に表示される施工線と作業者自身の運転する作業機械との位置関係を視認しながら、作業機械の制御操作を行うことができる。
【００２０】
また、作業機械による作業ではなく、手作業で機材の設置等を行う場合に、その設置場所に表示装置を設置することにより、表示画面に表示される施工線と機材の設置位置等の位置関係を視認しながら、設置作業等を行うことができる。
また、例えば、工事現場と隣接する民家等との契約により施工許可領域が区切られているような場合に、この境界線を表示装置に表示し、この表示を見ながら作業を行うような用途に用いることも考えられる。
このように、本形態による施工線表示システムは、様々な用途に用いることができ、簡易に必要な施工線を設定して種々の作業を行うことができる。
特に実際の施工線を引き難いような場合、例えば中間に障害物がある場合等にも施工線を自在に設定することができ、多様な用途に応用が可能である。
【００２１】
【発明の効果】
以上説明したように本発明の施工線表示システムでは、撮像装置によって撮像された作業現場の画像から複数のマーカを抽出し、これらマーカの前記表示画面に対する位置情報を算出するとともに、必要とする施工線の作業現場における位置条件情報を設定し、上述したマーカの位置情報と施工線の位置条件情報とに基づいて、施工線の表示画面上の位置を算出し、これを表示装置の表示画面上に作業現場の映像とともに表示するようにした。
したがって本発明によれば、様々な作業現場において、各種の施工線を人手をかけずに、容易かつ迅速に設定して利用することができる施工線表示システムを提供できる効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態による施工線表示システムを実現するためのハードウエアの構成例を示すブロック図である。
【図２】図１に示す施工線表示システムにおける処理動作を示すフローチャートである。
【図３】図１に示す施工線表示システムのビデオカメラによって作業現場を撮像している状態を示す説明図である。
【図４】図３に示すビデオカメラの作業現場における配置例を示す正面図及び平面図である。
【図５】図１に示す施工線表示システムの表示装置における表示例を示す正面図である。
【符号の説明】
１０  ビデオカメラ
２０  制御装置
３０  操作部
４０  ＴＶモニタ
５０  施工面
Ｍ１〜Ｍ３  マーカ
【図１】
0004289470.tif 000002
【図２】
0004289470.tif 000003
【図３】
0004289470.tif 000004
【図４】
0004289470.tif 000005
【図５】
0004289470.tif 000006