土木学会：建設用ロボット技術セミナー（第１回）

インテリジェント施工システムの研究活動について

2021年3月17日

技術センター
千葉 拓史

confidential

自己紹介

千葉 拓史 （ちば たくみ）

株式会社フジタ

技術センター 生産改革研究部 先端グループ 主任研究員
建設現場におけるICT,IoT,ロボット技術等の先端技術利活用の研究開発に従事
2016年10月より、社会連携講座インテリジェント施工システム 共同研
究員
mail : takumi.chiba@fujita.co.jp© 2021 Daiwa House Group All rights reserved.

1confidential
録画禁止

アジェンダ

０．自己紹介１．社会連携講座 インテリジェント施工システム
２．プロジェクト概要 ～シナリオ設定～
３．研究テーマ
４．まとめ© 2021 Daiwa House Group All rights reserved.

2

confidential
録画禁止

１. 社会連携講座「インテリジェント施工システム」

自然災害の復旧に迅速かつ的確に対応する施工技術を開発

2016年10月～2019年9月 第１期
2019年10月～2022年3月 第２期

無人化建機を用いた施工技術の知能化に関する教育と研究– 災害対応・無人化施工• 震災，噴火，大水など自然災害からの復旧– 無人建機（建設ロボット）の遠隔操作の効率化• 現場環境の可視化• オペレータへの情報提示• その他© 2021 Daiwa House Group All rights reserved.

3

confidential
録画禁止

２. プロジェクト概要
本講座における研究開発の指針

迅速な災害対応，施工の省力化・効率化のための広く使える無人化技術の研究開発
大学と株式会社フジタの強みを生かした連携による実現

一般車両に搭載可能な俯瞰映像システム及びドローン（淺間研・山下研・永谷研）

一般建機に搭載可能な遠隔操作システム（ロボQ）（株式会社フジタ）© 2021 Daiwa House Group All rights reserved.

4プロジェクト概要 災害発生～ロボット投入

0. 災害発生

1. 調査

confidential
録画禁止

2. 投入（施工計画）

土砂崩れ

不整地
地図生成及び地形変化量
推定①
画像による建機の走破性
判定②

建設機械の動作認識による施工計画③© 2021 Daiwa House Group All rights reserved.

5confidential
録画禁止

プロジェクト概要 作業

3. 作業（移動）4. 作業（施工）

不整地移動

機体の姿勢変化による転倒回避④
環境センシングによる障害物提示⑤建機の自動映像提示⑥
建機の周囲環境可視化⑦有線給電ドローンによる映像提示⑧© 2021 Daiwa House Group All rights reserved.

6

3. 研究テーマ

confidential
録画禁止

調査

© 2021 Daiwa House Group All rights reserved.

7

confidential
録画禁止研究テーマ①

UAVによる空中写真を用いた3次元地形モデルの更新と地形変化量の推定
背景：土砂崩れ発生時，被害規模を知るために土砂の移動量の推定が必要
目的：対空標識を用いない航空測量による地形変化量の推定法の構築
要求仕様：
–
–

72時間以内での更新された地図の獲得
0.25 m 以下の推定精度（高さ誤差）

手法：事前に取得した大域地図と災害後に取得した局所地図の高速な位置合わせによる地形変化量の推定
結果：ドローンによる実験で高速かつ高精度な推定を実現

ドローンを用いた地形変化量の推定実験環境（山梨県甲府）

地形変化推定値

真値

高さ誤差(単位面積あたり)

推定時間

9.004 m9.435 m0.04 m2.05 h推定時間は 2.05 h < 72 h

推定値誤差 0.04 m < 0.25 m

要求仕様を達成

推定時間= 0.17 h (UAV撮影) + 1 h (局所地図の生成時間) + 0.88 h (マッチング)© 2021 Daiwa House Group All rights reserved.

8

confidential
録画禁止研究テーマ②スペクトル画像を用いた建設機械の走破性の判定
背景：災害現場においては建設機械の走破性の迅速な調査が必要
目的：ハイパースペクトル画像による建設機械の走破性の判定
提案手法：ハイパースペクトル画像より土壌の種類の推定

n class
真値m

ハイパースペクトル画像

NNによる土壌推定器

推定結果

結論：10種類の土壌推定において82%の精度で成功© 2021 Daiwa House Group All rights reserved.

9confidential
録画禁止研究テーマ②スペクトル画像を用いた建設機械の走破性の判定２
背景：災害現場においては建設機械の走破性の迅速な調査が必要
目的：スペクトル画像による建設機械の走破性の判定
提案手法：ハイパースペクトル画像から土壌の種類を識別，マルチスペク
トル画像から含水比を推定，コーン指数を算出して走破性を判定

実験環境

走破できると判定された土壌

走破できないと判定された土壌

結論：土壌識別と含水比推定によるコーン指数算出から走破性判定に成功© 2021 Daiwa House Group All rights reserved.

10

研究テーマconfidential
録画禁止

投入（施工計画）© 2021 Daiwa House Group All rights reserved.

11confidential
録画禁止研究テーマ③

時系列画像に基づく油圧ショベルの動作認識
背景：施工計画の立案，施工の管理，施工の効率化のためには建設機械がどの動作（掘削，締め固め，移動など）をどのくらいの時間行っていたかを定量的に把握する必要
目的：時系列画像に基づく油圧ショベルの動作認識手法の構築
提案手法：シミュレーション環境で作成した時系列画像で学習，学習モデルを生成，テストデータとして実環境で取得した
時系列画像を入力することで動作を認識
シミュレーションで作成した
テストデータt=1
t=2

入力：時系列画像

t=n

⋮

CNN

LSTM

CNN
⋮
CNN

LSTM

⋮

LSTM

学習モデル

掘削
締め固め
移動
⋮
旋回

出力：建機の動作

結論：シミュレーション環境で作成したテストデータでの動作認識を確認12© 2021 Daiwa House Group All rights reserved.

研究テーマconfidential
録画禁止

作業（移動）© 2021 Daiwa House Group All rights reserved.

13

confidential
録画禁止研究テーマ④遠隔操作ロボット走行時における機体の姿勢変化による転倒回避
背景：遠隔操作は搭乗操作よりも情報が少なく不整地の影響などにより機体の転倒を招く恐れ
目的：ロボット走行中に作業装置を動作，機体姿勢を変化させ転倒を防止する手法の構築危険の感知が困難

搭乗操作遠隔操作© 2021 Daiwa House Group All rights reserved.

14

confidential
録画禁止研究テーマ④
提案手法：ロボット走行時の安定性を転倒安定余裕で評価
評価値に基づき，安定性が向上する重心位置を算出
作業装置を制御
従来手法

0.20

転倒0.15

重心後方姿勢提案手法

転倒安定余裕m]

0.10
0.05
0.00
025

5075

100125150

転倒回避

0.20

0.15

0.10

0.05

0.00
025

5075

100125150

時間[s]結論：ロボットの走行時の転倒防止手法を構築© 2021 Daiwa House Group All rights reserved.

15

confidential

研究テーマ④遠隔操作ロボットの姿勢制御による転倒回避
背景：遠隔操作は搭乗時よりも情報が少なく，不整地の影響により転倒してしまう問題
目的：ロボット走行中に作業装置を動作，姿勢を変化させ転倒を回避する手法の構築
提案手法：走行時の安定性を転倒安定余裕で評価，評価値に基づき，安定性が向上する重心位置を算出し，姿勢を制御
×8

従来手法
姿勢制御なし提案手法
姿勢制御あり結論：シミュレーション3次元環境下での転倒回避に成功© 2021 Daiwa House Group All rights reserved.

16

confidential
録画禁止研究テーマ⑤

周囲環境の障害物が提示可能な俯瞰映像提示システム
目的：従来の俯瞰映像提示システムでは不可能な配管や倒木などの高さのある障害物の提示
提案手法：
従来手法
魚眼カメラ＋三次元測距センサを用いた障害物提示システム

結果：
障害物の位置を実際の位置に約 8 mmの誤差で正確に提示

提案手法© 2021 Daiwa House Group All rights reserved.

17

confidential
録画禁止研究テーマ⑤
魚眼カメラで生成した鳥瞰映像上にRGBDカメラで得られた障害物情報を重畳表示し無人化重機のオペレータへの情報提示を行う

4×魚眼カメラ
1×RGBDカメラ
GLより高いエリア（障害物）は赤映像提示GL
遠隔操作バックホウ
GLより低いエリア（穴）は青

20㎝以上の障害物を提示（GL下は-20㎝）

システムコンセプト

鳥瞰映像＋障害物情報© 2021 Daiwa House Group All rights reserved.

18

実験映像

confidential
録画禁止

動画：障害物提示つき鳥瞰映像
落下無し（58秒付近）© 2021 Daiwa House Group All rights reserved.

19

研究テーマconfidential
録画禁止

作業（施工）© 2021 Daiwa House Group All rights reserved.

20

confidential
録画禁止研究テーマ⑥

バックホウの盛土作業における遠隔操作のための映像提示
背景：バックホウの盛土作業には外部カメラ映像による土砂型枠の形状確認が必要不可欠
目的：バックホウによる盛土作業における建機オペレータの要求を考慮した自動映像提示法の構築

バックホウ
土砂型枠

RCC
RCC工法

土砂型枠
実際の盛土作業の様子(x16)© 2021 Daiwa House Group All rights reserved.

21

confidential
録画禁止研究テーマ⑥

要求仕様：1. アームの関節が，映像中に提示
2. バケットが，画面中央付近に提示
3. 土砂型枠側の履帯が，画面右側中央に提示
提案手法：アームの関節，バケット，履帯の画像座標 ( , )から長方形を作成，長方形の位置に基づきPTZ制御

アームの関節

長方形

バケット

履帯
映像

長方形の作成提案手法による映像(x8)

結論：従来の手動操作と代替可能な，自動映像提示手法を構築© 2021 Daiwa House Group All rights reserved.

22

confidential

研究テーマ⑦

ロボット遠隔操作のための周囲環境の可視化
背景：ロボット遠隔操作においては障害物との相対位置，作業空間における位置の把握が必要
目的：ロボット遠隔操作のための密な周囲環境マップの生成及び自己位置推定
提案手法： Monocular SLAMと深層学習の組み合わせにより複数画像から特徴量を抽出し環境マップ及び位置を推定
入力画像1

⋮

画像圧縮層

特徴抽出層

画像復元層

入力画像n
局所的特徴抽出
局所的特徴を持つ大域的位置推定

結論：特徴点抽出および環境の可視化に成功

出力層

出力結果
© 2021 Daiwa House Group All rights reserved.

23

confidential

研究テーマ⑦

周囲環境可視化のための画像情報に基づく深度推定
背景：ロボット遠隔操作においては障害物との相対距離（深度）の把握が必要
目的：単眼カメラの画像のみを用いた深度推定手法を構築
提案手法：複数の位置から取得した画像を高周波成分と低周波成分に分離し，低周波成分は低解像度で処理することで深度を推定
Cost volume(4D volume)Plane
sweeping

入力画像
結論：単眼カメラの画像のみから深度推定に成功

出力画像© 2021 Daiwa House Group All rights reserved.

24

confidential
録画禁止研究テーマ⑧

重機連携有線給電ドローン
背課

景：

災害復旧現場や、無人化施工の現場ではカメラ台車の映像や運転席に搭載したカメラの映像を用いて建設機械の遠隔操作を行っている
題：

カメラ台車の配置に物理的な制約⇒設置可能な場所が限られる。最適な場所とは限らない
建機移動時にカメラが追いきれない（角度、ズーム）

カメラ台車の操作にカメラオペレータが必要
運転席に搭載したカメラ⇒周囲を十分俯瞰することができない作業、走行時に他重機との接触等安全性の課題© 2021 Daiwa House Group All rights reserved.

25

confidential

技術概要• 地上からの有線給電で長時間飛行可能（４H動作確認済）• 移動する建設機械との位置を相対的に維持しながらの自動飛行• 搭載するカメラからの高画質な映像伝送（光学ズーム・防振機構）• タッチパネルによる直観的な操作 （離発着指示・飛行位置指定）• 給電ケーブルの絡みを防止するケーブル自動巻取装置• 建設機械に搭載可能な小型のヘリパット© 2018 Daiwa House Group All rights reserved.

26

confidential
録画禁止

検証動画

動画.タブレットインターフェース＋提示映像での移動と爪先合せ作業© 2021 Daiwa House Group All rights reserved.

27

confidential
録画禁止

外部撮影

飛行風景
© 2021 Daiwa House Group All rights reserved.

28

4. まとめconfidential
録画禁止

社会連携講座 インテリジェント施工システムでは災害復旧の効率化迅速化に向けた様々な研究開発を行っております。今後も講座の研究活動を通じてよりよい教育活動と社会貢献をめざしてまいります。

© 2021 Daiwa House Group All rights reserved.

29

© 2021 Daiwa House Group All rights reserved.

30