フジタ技術研究報告㻌第㻡㻡号㻌 㻌 㻞㻜㻝㻥年㻌
㻌㻌

インテリジェント施工システムの開発㻌― 俯瞰映像上での障害物提示㻌 ―㻌

坂井 郁也

千葉 拓史

山本 新吾

概㻌 㻌 㻌 㻌 㻌 㻌 要
近年、建設生産システムの生産性向上を目的としたICT技術に関する開発が盛んに行われている。特に、筆者らは、災害復旧の迅速化を目的にICT技術を活用した施工システムである「インテリジェント施工システム」の開発に取り組んでいる。本報告では、その取り組みのひとつである俯瞰映像上の障害物提示システムの開発について報告する。
遠隔地から建設機械を操作するオペレータへの建設機械周辺の映像を提示する手法として、擬似的に建機の上空からの映像を俯瞰して提示するシステムが開発されている。その俯瞰の映像は、建設機械の前後左右に設置した４台の魚眼レンズカメラの映像を合成することにより構築される。そのシステムは遠隔操作で用いられる移動カメラ車を不要にする可能性を有するが、地面から高低差を持った障害物が不正確に描画される問題が残った。そこで筆者らは、建設機械の前方に設置したデプスカメ
ラの３次元測域データと既存の俯瞰映像を合成することにより、高低差を正確に描画可能な俯瞰映像提示システムを開発した。
そして、フィールド実験から本システムの評価を行った結果、既存の俯瞰映像と比較して適切に障害物を回避できた。また、オペレータへのインタビューから障害物提示機能が建機を安全に走行させる上で有用であるという知見を得た。

Development of an Intelligent Construction System
Obstacle Presentation on a Bird's-eye View Image
Abstract
In recent years, ICT technology has been actively developed for the purpose of improving the productivity of construction
production systems. In particular, the authors report on the development of an “Intelligent Constrution System,” which is aconstruction system that uses ICT technology for the purpose of speeding up disaster recovery, and an obstacle presentation systemon the cover image that is one part of these efforts.
As a technique for presenting an image around a construction machine to an operator controlling the machine from a remotelocation, a system has been developed that presents a bird's-eye view of an image from above the construction machine. The bird'seye view image is constructed by combining the images of four fisheye lens cameras installed on the front, rear, left, and right ofthe construction machine. The system has the potential to eliminate the need for a mobile camera car used for remote control, butthe problem remains that obstacles with a height difference from the ground are drawn incorrectly. Therefore, the authors developed
a bird's-eye view video presentation system that can accurately draw height differences by synthesizing the existing threedimensional range data of the depth camera installed in front of the construction machine. As a result of evaluating this systemthrough field experiments, it was possible to avoid obstacles appropriately compared with the existing overhead view video. Inaddition, we learned from an interview with the operator that the obstacle presentation function is useful for safely running
construction equipment safely.
キーワード：

災害復旧、無人化施工、映像提示、建設機械、デプスカメラ

㻌㻌−1−フジタ技術研究報告㻌 第㻡㻡号㻌

§１. はじめにひとつであるデプスカメラを用いて、俯瞰映像上に障害物の高低差の情報を提示する俯瞰映像システムの開発と実験に土砂災害や火山噴火などの自然災害に対して迅速な復おけるそのシステムの評価について述べる。

旧対応が重要である。しかし、災害地域における建設機械（建機）を用いた有人での工事作業は二次災害が想定される§２. 俯瞰映像の問題点ため、無人での工事作業（無人化施工）が要求される。その無人化施工を実現する手段として、遠隔操作式建機を直接複数台の魚眼レンズカメラを用いて構築される俯瞰映像目視で遠隔操作する方式と、工事現場に設置されたカメラ搭提示システムは、全ての物体が同一の平面状の地面などに載の台車（移動カメラ車）と遠隔操作式建機とを遠方の安全存在すると仮定しているため、魚眼レンズカメラより取得したな操作室から遠隔操作する方式とが用いられている。1) 㻌 特映像をその平面に対して一様に投影している。しかし、災害に後者の方式は、建機のキャビン上に搭載したカメラと移動現場では地面に対して高低差がある盛土や穴、倒木、岩なカメラ車から伝送された映像のみでオペレータが遠隔操作をどの障害物が数多く存在する。したがって、俯瞰映像は実際行うため、直接目視よりも安全性が高い。上述のように無人の上空からの視点と比較してそれらの障害物が不正確に描化施工の手段は確立されていたが、遠隔操作用に改造され画される。また、魚眼レンズカメラと同等の高さにある障害物た専用建機の調達と準備に時間を要するために迅速な災害が映る場合は、俯瞰映像上に全く描画されないという課題も復旧が困難であった。そこで、フジタは、遠隔操作用に改造抱えている。つまり、俯瞰映像提示システムを頼りに遠隔操された専用機の調達性の課題に着目し、災害現場近辺で容作式建機が走行するとき、不正確な映像が原因でオペレー易に調達可能な一般の建機へ遠隔操作式ロボット（ロボQS）タが誤った環境認識を行う。そして、誤った環境認識が原因を後付けで搭載することにより、遠隔操作式建機の迅速な調で、遠隔操作式建機が障害物への衝突や落下・転倒で動作達を実現した。2) これにより、フジタは、直接目視の方式での不能になる可能性がある。

迅速な災害復旧を可能としたため、多くの災害対応の実績を建機の俯瞰映像システムにおける不正確な描画の具体例保有している。その一方で後者の方式の場合は、専用建機を図2と図3に示して述べる。図2の建機前面の魚眼レンズカの調達性以外に地形的な制約を受ける移動カメラ車の配置

メラの画像には障害物である赤色のカラーコーンが適切なサ問題と有人での搭乗作業と比較して遠隔操作は作業効率がイズで描画されている。一方で、図3の俯瞰映像では、カラー劣ることから迅速な災害復旧が困難であった。フジタは、無コーンは実際のサイズよりも伸長されたように描画がされて人化施工の作業効率は視覚の問題が29%と最も高いこと3)におり、不正確な提示がオペレータに行われる。

着目し、建機周辺の情報を提供する移動カメラ車の不要化と適切な映像を提示して作業効率向上の両立を試みた。そのために、フジタと東京大学の淺間・山下研究室は共同で無人化施工用俯瞰映像提示システムを開発した。4) そのシステム
は、建機の前後左右に取り付けた魚眼レンズカメラからの映像を合成し、建機上空からの疑似的なカメラ映像を遠隔操作者に提供するものである。その俯瞰映像提示システムの概念
図を文献から引用して図１として示す。フィールド実験の結果、そのシステムは搭乗での作業には及ばないものの建機図㻌 㻝㻌 俯瞰映像の概念図㻌
参考文献㻠）から図を引用㻌の掘削作業において遠隔操作に有効な結果を得た。また、バケットの位置決め時には従来の移動カメラ車の映像提示手法と同等以上の精度を得た。さらに、走行作業では移動カメラ車の映像と比較して安全走行や建機本体の位置決め精度の点で有効性が確認された。以上の実験結果から、簡便に建機周囲の環境を提供する俯瞰映像のシステムが構築された。しかし、俯瞰映像提示システムにおける手法の性質から高低差のある障害物が正確に描画されない問題が確認された。
本稿では、俯瞰映像提示システムが障害物の高低差を不図㻌 㻞㻌 建機の正面映像㻌

正確に描画する問題を解決するため、3次元測域センサの－㻞－㻌
−2−

図㻌 㻟㻌 建機の俯瞰映像㻌インテリジェント施工システムの開発㻌 ―㻌 俯瞰映像上での障害物提示㻌 ―㻌§次元測域センサを活用した俯瞰映像

め、経済性を兼ねて俯瞰映像の機能を拡張する3次元測域センサとしてデプスカメラを採用した。

㻟㻚㻝㻌㻟次元測域センサの事前検討㻌俯瞰映像上に障害物を正確に提示する関連研究として、

 システム概要㻌

ロボットの遠隔操作を目的に複数台の魚眼レンズカメラに３建機の前後左右に設置する魚眼レンズカメラ4台と建機の次元測域センサを加えた デプスカメラを用いたもの 5) や前方に設置するデプスカメラにて障害物を正確に描画できるLiDAR(Light Detection and Ranging)を用いたもの6) が俯瞰映像提示システムを構築する。そのシステムの概念図を報告されている。それらの手法により、障害物が俯瞰映像上図7に示す。今回開発したシステムは、関連研究と同様で正確に描画されることで、障害物の衝突回避および周囲環境の適切な認識が容易になると述べられている。両者の手法とも、3次元測域センサで取得した障害物の位置情報の㻸㼕㻰㻭㻾設置部㻌

点群を俯瞰映像に重畳表示させることにより、障害物を正確に提示している。具体的には、魚眼レンズカメラの画像座標系と3次元測域センサの座標系の対応関係を算出し、魚眼レンズカメラの画像中の障害物の色を障害物の点群に付加しデプスている。そして、障害物を色付きの点群として俯瞰映像に重カメラ畳表示することによって、ロボット遠隔操作において障害物設置部㻌の正確な視認を可能としている。
前述の関連研究のロボット遠隔操作における結果から、筆者らは同様のシステムを遠隔操作式建機向けのものとして開発することを決定した。そして、実機の場合において、どの3図㻌 㻠㻌 㻟次元測域センサによる障害物の計測㻌

次元測域センサが有用であるかを予備実験により事前検証を行った。具体的には、一般的な中型油圧ショベルを対象とし、3次元測域センサであるLiDARのVelodyne®HDL-32eとデプスカメラのIntel® RealSense™ D435を対象の建機建機㻌に搭載して障害物の計測を行った。その予備実験の状況を図4に示す。図4に示されている建機から約5m程度の距離に設置した脚立と脚立の上部・下部にそれぞれ設置したカラーコーンを障害物としてみなした。また、図4に示すようにLiDARは建機のキャビンの上部に設置し、デプスカメラは建機の前方部に設置した。
LiDARを用いた予備実験の結果として、LiDARの計測図㻌 㻡㻌 障害物計測時の㻸㼕㻰㻭㻾による障害物計測㻌
データの点群を描画したものを図5に示す。障害物である脚 㻌 㻌 㻌 㻌 㻌 㻌 㻌 㻌 㻌 ※破線部の領域が障害物㻌
立とコーンが図5の破線で囲われた領域に点群として描画さ2421れている。しかし、計測対象が遠方であるほど計測密度が疎バケット㻌になるLiDARの特性から、障害物形状の全体を捉えること18が困難である。一方、デプスカメラを用いた予備実験の結果

15として、デプスカメラから取得した深度画像を図６に示す。図12６の破線で囲われた領域に障害物が深度画像として描画さ9れている。今回のデプスカメラは計測対象が遠距離であるほ6

ど計測精度が劣る特性を持つが、対象を面として捉えるため3に障害物全体をLiDARより計測が可能である。

0以上の予備実験の結果から、障害物である盛土や穴、倒図㻌 㻢㻌 障害物計測時のデプスカメラの深度画像㻌

木、岩の全体を適切に捉えた上で障害物映像を提示する場 㻌㻌 㻌 ※右側のカラーバ㻙はセンサからの距離㼇㼙㼉、㻌合は、デプスカメラが有効であることが考えられる。また、 㻌㻌 㻌 㻌 破線部の領域が障害物㻌

LiDARと比較してデプスカメラは1/40程度の価格であるた
－㻟－㻌
−3−

フジタ技術研究報告㻌 第㻡㻡号㻌

遠隔操作式建機図㻌 㻣㻌 システム概要㻌にデプスカメラで取得した点群を俯瞰映像上に重畳して描画するものである。ただし、点群の色情報に関しては、デプ
スカメラのIntel® RealSense™ D435に組み込まれているRGBカメラから取得する。一方で、本システムの特徴として、地面よりもある一定の閾値以上の高低差を持つものに色情報を付加することにより、容易に障害物の高低差を認識できるよう工夫した。図７に示すように、上空方向を正の方向とし
図㻌 㻤㻌 高台の上の建機㻌て定義して、地面より閾値以上の高さにあるものは赤色の点

図㻌 㻥㻌 開発した俯瞰映像㻌

群とし、地面より閾値以下の低さにあるものは青色の点群として重畳として描画している。なお、今回の実験では、建機の履帯の高さを考慮して、高いエリアをGLから+20cmとし、低いエリアをGLから-20cmとして閾値の設定を行った。
本システムの適用例を図8と図9に示す。図8に示すように高台に建機を設置し、人とバケットを地面より高い障害物とし、高台の下り坂を低い障害物としてみなした。図9の俯瞰映像に示すように破線部内の領域にて、人とバケットが赤い点群で描画され、高台周辺が青い点群で描画されている。
図㻌 㻝㻜㻌 最適化フローチャート㻌 俯瞰映像とデプスカメラの点群レジストレーション
本システムは前回開発した俯瞰映像システム4) がベース

なお、𝜃𝜃は6自由度の位置・角度とスケールの情報とがのため、デプスカメラのキャリブレーション作業である点群レ含まれる媒介変数である。次に、式(1)にて写像した

ジストレーション7)を追加で行うことで障害物提示の機能を有とにおいて、それぞれの組となっている点群の差分かする俯瞰映像が構築される。追加分のキャリブレーションとら点群レジストレーションの誤差を算出する。その誤差描画の手順のみを下記に述べる。
イ)を算出する関数を下記の式で定義する。

㻌 魚眼レンズカメラの映像で合成された俯瞰映像（ドーdist(T(M, 𝜃𝜃), S) = ∑𝑛𝑛𝑖𝑖=0(𝑚𝑚𝑖𝑖 − 𝑠𝑠𝑖𝑖 )2 ∵ 𝑚𝑚𝑚𝑚𝑚𝑚(𝑀𝑀, 𝜃𝜃), 𝑠𝑠𝑠𝑠𝑠𝑠㻌 (2)ム状）を点群情報へ変換する。
ロ)㻌 俯瞰映像の点群とデプスカメラの点群の点群レジスト

式(2)で算出される誤差を最小化するため、𝜃𝜃の値にラレーションを行うため、実空間上で同一地点とみなされンダムな値の𝜃𝜃𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 を加算することで、𝜃𝜃の値を逐次修る両方の点群の組を複数選択する。なお、デプスカメラ正させて探索する。その最適化の過程を図10に示す。

から選択した点群の集合をとし、俯瞰映像から選択した点群の集合をとして定義する。

ハ) 㻌 俯瞰映像上にデプスカメラの点群を写像する変換モ㻌㻌㻌㻌㻌㻌㻌㻌㻌㻌

以下の誤差のとき𝜃𝜃を𝜃𝜃𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏 として用いる。

ニ) 㻌 最適化が収束した𝜃𝜃𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏 とデプスカメラの全点群と式(1)を用いて、俯瞰映像上にデプスカメラの点群を写像

デルを下記の式で定義する。
T(𝑀𝑀, 𝜃𝜃)

なお、err は始めに設定する誤差の許容値であり、err(1)して重畳して描画する。
－㻠－㻌
−4−

インテリジェント施工システムの開発㻌 ―㻌 俯瞰映像上での障害物提示㻌 ―㻌§㻠㻚㻌 フィールド実験・実験結果㻌
遠隔操作式建機向けに開発した障害物提示が可能な俯
瞰映像のシステムを評価するためにフィールド実験を行った。具体的には、25m×25mのフィールド上に、障害物として段ボール・カラーコーン・盛土・穴が設置された走行フィー
ルドで実験を実施した。そのフィールドを上空から撮影した写真を図11に示す。図中では走行コースの端を破線で示し、カラーコーンがその破線上に一定距離ごとに設置されている。また、図中の矢印が建機の走行ルートである。そして、本システムを搭載した遠隔操作式建機を無人化施工のオペレータ2名（A・B）を被験者として障害物を提示している俯瞰

図㻌 㻝㻝㻌 実験コース㻌

映像を頼りに遠隔操作による走行をさせた。なお、建機の履帯と障害物の距離を容易に認識させるため、履帯についてもデプスカメラで計測して赤く描画している。実験における評価項目は、俯瞰映像上の障害物提示の有無で、走行時間と障害物を回避の可否についてを対象とした。
フィールド実験の実施結果を表１に示す。障害物提示がある場合、いずれの被験者も障害物を回避して走行を終了した。障害物提示ありのとき、被験者に提示している映像を図12に示す。前方の穴が青く描画されており、右側にある段ボールが赤く描画されて障害物が提示されている。その一方で、障害物提示がなかった場合、被験者Bの実験にて履帯

図㻌 㻝㻞㻌 実験中の俯瞰映像（障害物提示あり）㻌

が穴に乗り込んだために障害物回避に失敗している。その失敗時の俯瞰映像を図13に示す。図13の破線で示している部分において、履帯が穴に乗り込んでいることが確認できる。一様な色合いをしている地面は凹凸の高低差の情報をカメラで取得して提示することが困難なため、被験者Bは障害物提示なしでは穴を適切に認識できずに乗り込んだ可能性が考えられる。また、障害物を正確に提示している俯瞰映像の方が走行時間を10秒程度要している。障害物提示を有効にすることで走行時間が10秒程度の遅れが生じている要因として、実験中の様子から提示された障害物に意識を取られているためだと考えられる。
また、本実験を通じて2名の被験者にインタビューを行い、図㻌 㻝㻟㻌 実験中の俯瞰映像（障害物提示なし）㻌

下記の意見が得られた。
表㻌 㻝㻌 フィールド実験の結果㻌



障害物提示機能の切り替えを可能にすべきである。



建機の落下と転倒は危険であるため、地面より低い箇

被験者

障害物提示

走行時間

障害物回避

所の障害物提示は有用的である。

Aなし

2分44秒

成功

地面より高い箇所の障害物提示は、建機が衝突してA

あり

2分55秒

成功も走行停止するだけなので、低い方の提示よりは有用

B

なし

2分18秒

失敗的ではない。

B

あり

2分26秒

成功



以上の被験者の意見から、本システムの改善すべき点と有用性が抽出された。
－㻡－㻌
−5−

フジタ技術研究報告㻌 第㻡㻡号㻌§. おわりに参㻌 考㻌 文㻌 献

㻌 本稿は、建設機械の前後左右に設置した４台の魚眼レンズカメラの映像で構築された俯瞰映像とデプスカメラの3次元測距データを点群レジストレーションで合成することにより、障害物を正確に提示可能な俯瞰映像システムの開発を行ったことについて詳述した。そして、フィールド実験とインタビュ

1) 新田恭士：災害復旧に貢献する無人化施工技術、土木技術、Vol. 67、No. 4、pp. 16-23、2012

2) 平野高嗣、坂井郁也：災害復旧のための無人化施工技術の開発、金属、Vol.89、No.8、20193) 山口崇、吉田正、石松豊：遠隔操作におけるマンマシンイ
ンターフェースに関する実態調査、土木学会第 59 回年ーの結果を通じて、本システムが実際の無人化施工のオペレータに対して有用であることを示した。

次学術講演会概要集、Vol. 59、pp. 373–374、2004

4) 佐藤貴亮、藤井浩光、Alessandro Moro、杉本 和也、野末

今回のフィールド実験では、建機の上空からの視点である晃、㻌 三村洋一、小幡克実、山下淳、淺間一：無人化施工用俯瞰映像として実施しているが、開発したシステムは任意の俯瞰映像提示システムの開発、日本機械学会論文集、Vol.

視点からの映像を合成して提示できるシステムに改良されて

81、No. 823、2015いる。本機能に関しては、オペレータ自身が望む視点からの

5) 粟島靖之、小松廉、藤井浩光、田村雄介、山下淳、淺間一:映像を提供できるため、高評価の意見を得られている。

ロボット遠隔操作のための3次元測域センサを用いた俯瞰映㻌 今後の展望としては、複数のデプスカメラを用いて建機全像上での障害物提示、第17回計測自動制御学会システムイ

周囲の障害物情報を正確に提示すること、インタビュー結果

ンテグレーション部門講演会講演論文集、2016に基づいてより洗練された障害物を提示すること、より詳細な

6) 粟島靖之、小松廉、藤井浩光、田村祐介、山下淳、淺間一：ロボット遠隔操作のためのLiDAR を用いた全方位3 次元実験を行って課題を抽出すること、容易かつ迅速に立ち上測距による俯瞰映像上での障害物提示、精密工学会誌、げられる俯瞰映像提示システムの開発が挙げられる。

Vol.83、No.12、2017

7) Hao Zhu、Bin Guo、Ke Zou、Yongfu Li、Ka-Veng

Yuen 、 Lyudmila Mihaylova 、 Henry Leung ： AReview of Point Set Registration: From PairwiseRegistration to Groupwise Registration、Sensors、
19(5)、1191、2019

謝辞
本システムの開発にあたり、有限会社ライテックスには多大なるご協力をいただいた。ここに記して謝意を表する。
商標

ひとこと

本文中に記載されている会社名・商品名等は各社の商標

近年、生産性の向上と職場環境および登録商標です。の改善とを目的とした建設現場へのICT・ロボティクス技術の導入がIntel RealSenseは、米国及びその他の国における活発である。その中で、技術自体のIntel, Inc.の登録商標です。

外観に囚われず、建設業のユーザ

Velodyne は 、 米 国 及 び そ の 他 の 国 に お け る

ーのニーズ・ウォンツ・シーズとコス

Velodyne LiDAR, Inc.の登録商標です。

トとを見据えた価値ある貢献を心が坂井 郁也－㻢－㻌−6−

けたい。