フジタ技術研究報告㻌第㻡㻠号㻌 㻌 㻞㻜㻝㻤年㻌
㻌

インテリジェント施工システムの開発

坂井 郁也

千葉 拓史

山本 新吾

概㻌 㻌 㻌 㻌 㻌 㻌 要
近年、建設生産システムの生産性向上を目的としたICT技術に関する開発が盛んに行われている。特に、筆者らは、災害復旧の迅速化を目的にICT技術を活用した施工システムである「インテリジェント施工システム」の開発に取り組んでいる。本報告
では、ハイパースペクトルカメラを用いた土種分類と建機追従型有線給電マルチコプターとについて示す。
建設機械の経路計画のため、高分解能の波長情報を取得するハイパースペクトルカメラを用いて土の種類の特定を試みた。
簡易暗室内でハロゲン光を光源として10種類の土を計測したデータに基づいて土種の分類のパターン認識の実験を行った。
その結果、その分類の正解率が99%だったため、ハイパースペクトル画像による土種分類の有効性を確認した。
建設機械の遠隔操作に有用な映像提示のため、長時間作業に対応する有線給電のマルチコプターを開発した。また、マルチコプターが建設機械に自動離着陸と自動追従することでマルチコプターの操縦の省力化を図った。本装置を搭載したバックホウの遠隔操作の実地試験ではマルチコプターの提示映像でバックホウの走行操作が行えることを確認した。

Development of an Intelligent Construction SystemAbstract
In recent years, developments of ICT technology aimed at improving the productivity of construction
production systems have been active. In particular, we are working on the development of an "IntelligentConstruction System," which is a construction system utilizing ICT technology for the purpose of expediting
disaster restoration. In this report, we describe the classification of soil types using a hyperspectral camera
and the development of a multicopter wired power supply following construction machines.
For path planning of construction machines, we attempted to specify the type of soil using a hyperspectral
camera that acquires high-resolution wavelength information. Experiments on pattern recognition of soil
type classification were carried out based on data obtained by measuring ten soil types using halogen light
as a light source in a simple darkroom. As a result, since the accuracy of the classification was 99%, theeffectiveness of the soil type classification by the hyperspectral image was confirmed.
In order to present useful images for the remote operation of construction machines, we developed amulticopter for wired power supply that supports long-term work. In addition, we sought to achieve laborsaving multicopter maneuvering through the multicopter’s automatic following of construction machines withautomatic takeoff and landing. In field testing of the remote operation of an excavator equipped with thisdevice, it was confirmed that traveling operation of the excavator can be performed using the multicopter’s
displayed visual images.

キーワード：㻌

災 害 復旧、 ハ イ パース ペク トル 画

㻌

像、パターン認識、マルチコプター㻌㻌 㻌㻌−31−㻌㻌フジタ技術研究報告㻌 第㻡㻠号㻌§１㻚㻌 ハイパースペクトルカメラおよびパターン認識を用いた土種分類表㻌 㻝㻌 計測条件㻌

㻝㻚㻝 背景土石流などの災害復旧作業を迅速かつ安全に行うためには、建設機械の走行ルートを事前決定することが重要である。
しかし、立入制限区域に指定された災害現場では原位置試験を行うことが困難であり、地点値である原位置試験は広範囲の測定を短時間で行うことも難しい。

項目

説明

測定波長

460～945 nm

波長分解能

5 nm

データビット数

10 bits

解像度（横×縦）1280 pixel×1024 pixel

土の計測サイズ（横×縦）約28 cm×約23 cm

原 位 置 試 験 以 外 の 方 法 で は 、 Unmanned aerial vehicle(UAV) と連携して画像計測を行うリモートセンシングによって、㻌迅速な広範囲の簡易判定を行う既存技術が存在する。ただし、その技術は画像情報から精度よく土の種類および含水比を特定しなければならない課題を有している。
本稿では、画像情報から精度よく土の種類を特定することを目的とし、RGB カメラよりも高分解能の波長情報をスペクトル画像として取得可能なハイパースペクトルカメラに着目した。なお、ハイパースペクトルカメラは工業・農業等に従来用いられ㻌

図㻌 㻞㻌 土㻭㻔粗粒土㻕㻌㻌図㻌 㻟㻌 土㻮㻔粗粒土㻕㻌㻌ているが、建設業においても山岳トンネルの切羽での地質判定等に用いられ始めている。本稿では、10 種類の土（土 A、土 B、 ...、 土 J）のハイパースペクトルデータ計測およびパターン認識により、土の種類の特定に有効性が確認されたことについて報告する。
㻌㻝㻚㻞 屋内データ計測図㻌 㻠㻌 土㻯㻔細粒土㻕㻌㻌図㻌 㻡㻌 土㻰㻔粗粒土㻕㻌㻌

実験環境として、暗室に撮影ボックスとその周囲に光源である3台のハロゲンランプを配置した。そして、相対反射率の算出に用いる基準白板（上質紙）の計測を行った。さらに、パターン認識のモデル構築に用いるために、撮影ボックス内に土を入れたバットを設置し、表面の様相を金属ヘラで変化させた土のみを上㻌

部からハイパースペクトルカメラで各種3回計測した。その様子を
図 1に示し、その計測条件を表 1に示す。つまり、本計測条件

㻌図㻌 㻢㻌 土㻱（火山灰質粘性土）㻌

図㻌 㻣㻌 土㻲㻔粗粒土㻕㻌
㻌から、計測対象の画像を波長帯毎に計97枚得られる。また、計測した土のスペクトル合成カラー画像を図2~11に示し、各土の波長毎における相対反射率のグラフを図12に示す。最後に、構築モデルの有用性の検証のため、小鉢に各種土をそれぞれ入れて並べたものも撮影ボックス内にて土A～土Fと土G～土Jとで1回計測を行った。
㻌

図㻌 㻤㻌 土㻳（細粒土）㻌

㻌

図㻌 㻥㻌 土㻴（粗粒土）㻌

㻌㻌
図㻌 㻝㻌 計測環境㻌
－㻞－㻌
−32−図㻌 㻝㻜㻌 土㻵（細粒土）㻌

図㻌 㻝㻝㻌 土㻶（火山灰質粘性土）㻌
㻌インテリジェント施工システムの開発㻌

図㻌 㻝㻞㻌㻝㻜種の土の相対反射率と波長㻌㻝㻚㻟 パターン認識の前処理部の設計㻌
リモートセンシングにおけるスペクトルデータの教師あり学習でのパターン認識においては、ピクセル単位でクラスラベルの分類を行うことが一般的である1)。それに準じて、本稿においてもピクセル単位で土の種類の分類を対象とし、モデル構築用データに事前にクラスラベリングを行った。そして、本稿における教師あり学習は、入力データとラベルデータを用いる学習フェイズ、入力データと学習フェイズで構築したモデルを用いる予測フェイズで構成される。さらに、各フェイズは、設計を必要とする前処理

図㻌 㻝㻟㻌 パターン認識の流れ（学習フェイズ・予測フェイズ）㻌

部・特徴抽出部・識別部で構成される。各部の詳細は後述する
が、本稿におけるパターン認識の流れを図13に示す。
まず、前処理部であるノイズ除去と正規化の設計を行った。ノイズ除去については、各ピクセルのスペクトルデータを対象にパターン認識を行って生成した識別結果の画像に生じるごま塩ノイズの除去に有効な各波長帯の画像への空間フィルタリングに着目した。特に、Caoらの研究で高速処理が可能かつ高い識別性能を示したボックスフィルタを採用した2)。次に、ノイズ除去を施したデータに対しての正規化については、Caoらの研究で有効な結果を示したBand-Max法を採用した3)。Band-Max法とは、ピクセ
ル内の波長帯のうちの最も大きい値で同一ピクセル内の波長帯の値を除して正規化する手法である。
ボックスフィルタのフィルタサイズの違いとBand-Max法の有効性について検証するため、軽量高速に識別が可能な識別モデルであるLight GBMを簡便的に用いた。なお、検証したフィルタ
サイズは1 pixel × 1 pixel, 15 pixel × 15 pixel, 31 pixel × 31 pixelとし、ある波長帯の画像におけるフィルタのサイズと適用画像例を図14に示す。また、Light GBMの学習データと検証データは1回目と2回目に計測したデータを2-fold交差確認に用いた。その検証結果を表2に示す。本検証結果から、フィルタサイズは大きいほど識別率が向上し、Band-Max法による正規化を施したものは識別率が向上することが確認された。これより、ノイズ除去はフィルタサイズが31 pixel×31 pixelのボックスフィルタとして、正規化はBand-Max法として前処理部を決定した。㻌
－㻟－㻌
−33−

図㻌 㻝㻠㻌 フィルタサイズの比較と適用画像例（土㻶）㻌
表㻌 㻞㻌 フィルタサイズおよび㻮㼍㼚㼐㻙㻹㼍㼤法の識別精度㻌
Band-Max法

識別精度[%]

31×31

有97.250

31×31

無96.21115×15

有90.201

15×15

無89.865

1× 1

有66.022

1× 1

無59.460

フィルタサイズ[pixel×pixel]フジタ技術研究報告㻌 第㻡㻠号㻝㻚㻠 特徴抽出部の設計およびデータ分布の可視化㻝㻚㻢 小鉢上の各種土の識別

前処理されたデータに対する特徴抽出として、既存研究で有実際の使用を想定するために、前述の学習フェイズで構築し効性が示されている教師あり学習の線形判別分析を採用した。

た線形判別分析とSVMモデルを用いて、予測フェイズにて小鉢

線形判別分析とは、各クラスの等分散性を仮定された入力ベクト上にある10種の土のハイパースペクトル画像を対象に識別を行

ルとクラスラベルに基づいて、クラス間分散/クラス内分散の比をった。そして、識別によって得られた分類結果に基づいてカラー最大化するクラス数-1の次元へ線形射影する次元削減手法であリングした画像を出力した。参考としてのスペクトル合成カラー画る。なお、本手法は学習によりモデルの構築が必要であるため、像と識別結果に基づいたカラーリング画像を図16・17に示す。土

前処理済みのモデル構築用のデータセットと検証用のデータセ

D・G・Jに多少の誤分類が見受けられるが、全体的に対象を正しットとを作成した。具体的には、モデル構築用の1回目と2回目にく分類していることを確認した。

計測した前処理済みの各クラスのスペクトルデータからピクセル

表㻌 㻟㻌 データセットの内訳㻌

単位でランダムサンプリングを行ったものをモデル構築用訓練項目データセットとした。同様に、モデル構築用の3回目に計測したクラス当りの訓練データ数

20,000

クラス当りの試験データ数

10,000

前処理済みの各クラスのスペクトルデータからピクセル単位でランダムサンプリングを行ったものをモデル構築用試験データセッ

値トとした。これらデータセットのクラス当たりのデータ数を表 3に示す。作成したモデル構築用訓練データセットを用いて、線形判別分析のモデルを構築した。そして、構築したモデルの検証をモデル構築用訓練用データセットのデータ分布の可視化により簡便的に行った。なお、10クラスを対象とする線形判別分析で射影される9次元のベクトルの軸から寄与度の大きい軸において訓練データの分布を3次元散布図として可視化を行った。その可視化図を図15に示す。この図から、各種土のクラスのデータがクラスタとして分布し、各クラスのデータ分布同士のオーバーラップが少ないことから特徴抽出の有効性を定性的に確認した。
㻝㻚㻡 識別部の設計
識別部には既存研究にて有効性が示されている教師あり学図㻌 㻝㻡㻌 線形判別分析による㻟次元可視化㻌

習 の Radial basis function カ ー ネ ル の Support vector machine(SVM)を採用した。SVMとは、ソフトマージン法とカーネル法を用いた非線形の識別関数にて優れた汎化性能を持つ識別モデ

表㻌 㻠㻌 㻯㼛㼚㼒㼡㼟㼕㼛㼚㻌㻹㼍㼠㼞㼕㼤（㻼㼑㼞㼏㼑㼚㼠㼍㼓㼑㻌㼂㼍㼘㼡㼑㼟）㻌

ルである。本研究ではSVMのモデル構築として、前述の線形識別により分類したクラス判別分析で特徴抽出したモデル構築用訓練データセットを5fold交差確認したグリッドサーチでSVMのハイパーパラメータでABCDEFGHIJあるCとγを決定した。具体的には、Cを0.01・0.1・1・10・100、γを

A

99.7

0.3

0.0

0.0

0.0

0.0

0.0

0.0

0.0

0.0

0.001・0.01・0.1・1.0での範囲でパラメータ探索を行い、C=100とB

0.3

99.7

0.0

0.0

0.0

0.0

0.0

0.0

0.0

0.0

C

0.0

0.0

99.3

0.7

0.0

0.0

0.1

0.0

0.00.0

D

0.0

0.0

1.6

98.4

0.0

0.0

0.0

0.0

0.0

0.0

E

0.0

0.0

0.0

0.0

99.9

0.1

0.0

0.00.00.0

識別することで、ハイパースペクトルデータにおける土の識別

F

0.0

0.0

0.0

0.00.099.70.00.00.00.3

性能を評価した。その分類結果を実際のクラスと識別により分G

0.0

0.0

0.1

0.00.00.0

99.90.00.00.0H0.00.00.00.00.00.0

0.099.9

0.10.0I

0.0

0.00.0

0.0

0.0

0.0

0.00.0100.00.0

J

0.0

0.0

0.0

0.0

0.0

0.90.00.00.099.1

γ=0.001に決定している。なお、そのパラメータにおける識別実際のクラスの正解率は99.8%であった。
学習フェイズで構築した線形判別分析とSVMのモデルを用いて前述のモデル構築用試験データセットを予測フェイズにて類されたクラスとの関係を示す混同行列として表4に示す。本表より、識別の正解率についても99.6%と高い結果を示すことか
ら、本実験環境下でのハイパースペクトルカメラによる10種の土のパターン認識による分類有効性を確認した。加えて、最も識別率の低い土Dにおいても98.4%と高い識別性能が得られている。

－㻠－㻌
−34−

インテリジェント施工システムの開発㻌

要としない映像提示システムを開発した。そして、実際のフィールド試験において本映像提示システムの有効性を確認したため報告する。
㻞㻚㻞マルチコプター開発仕様の検討

一般的なマルチコプターはバッテリーを搭載し、動力源にす
図㻌 㻝㻢㻌 土㻭～㻲のスペクトル合成画像（左）と㻌る方式が一般的である。バッテリーを動力源にした場合、飛行時分類結果のカラーリング画像（右）㻌

間が数十分程度と短いため、長時間作業には向いていない。また、マルチコプターの機体制御技術は急速に発達しているが、離着陸時に風等の影響で機体姿勢が不安定になり、手動による操縦では墜落等の事故が起こるという事例も多い。これらの課題を解決する為に飛行時間に対してはケーブルによる有線給電によって長時間飛行を可能とし、離着陸時の手動操縦に対しては自動着陸が可能なシステム開発を行った。さらに、自動追従機
能を付加し、マルチコプターのオペレータを不要とする事で省力

図㻌 㻝㻣土㻳～土㻶のスペクトル合成画像（左）と㻌化を図った。

分類結果のカラーリング画像（右）㻌

㻞㻚㻟㻝㻚㻣 まとめ本研究では、10種類の土の分類を目的に対してハイパースペクトルカメラにて計測したパターン認識の有効性を確認した。今後は、太陽光を光源にした土のスペクトルを計測し、土の分類に有効な波長を特定したUAV用マルチスペクトルカメラを開発して検証する予定である。また、本稿では報告していないが、含水比の分類も有効であることを確認しており、現在機械走行指標との関連付けを進めている。

今回開発したシステムの諸元を表5に示す。建機側においては、マルチコプターへ電源供給を行う有線給電装置、建機の位置座標および高度をマルチコプターへ送信する地上局、有線給電装置、地上局へ電源を供給する発電機で構成されている。それらシステムを撮影したものを図18に示す。また、建機オペレー
タ側においては、マルチコプターからの映像を受信する映像受信装置、映像表示モニタ、マルチコプターの操作用タブレット端末で構成されている。マルチコプターの操作に用いるタブレット端末のユーザーインターフェースを図19に示す。建機とマルチ§㻞㻚 建機追従型有線給電マルチコプターの開発
㻞㻚㻝システム構成

コプターの相対位置は、オペレータが直感的に指定できるように配慮した画面設計を行った。

目的

土砂崩落等の災害復旧は、遠隔操縦方式の建設機械や遠隔操縦ロボットを搭載した建設機械で行っている4)。遠隔操縦の建設機械を用いて災害復旧を行う際、あらかじめ現場周囲を撮影可能なカメラ台車を現場に配置する。そして、そのカメラ台車からの映像や、建機キャビンへ搭載したカメラからの映像をもとに建機オペレータが作業を行っている。しかしながら、災害現場では二次災害が発生する可能性があり、カメラ台車の配置には場所的な制約のため、遠隔操縦の経験が少ない建機オペレータ
では作業効率が著しく低下し、復旧作業に時間を要する。また、搭載カメラからの映像は単一視点からの映像で上下左右の角度操作やズーム等は可能であるが、提示視野は限定的で建機周囲の状況を俯瞰的に見ることができないなどの課題も挙げられる。そのため、先行研究として俯瞰映像の提示等の研究開発が行われている5)。
本研究では、上記の問題を解決する為に近年急速に普及しているマルチコプターを活用し、マルチコプターに搭載したカメ

マルチコプターは、タブレット端末からの離陸指令信号を受け建機上のヘリパッドから自動離陸後、設定された建機との相対位置高度でホバリング飛行動作を行う。なお、ホバリング中は建機に設置している地上局から送信される地上局のGPS位置情報と電子高度計の高度情報を受信し、機体自身の位置制御を行う。
また、建機が走行する場合、マルチコプターは建機との相対位置を保つよう位置制御を行う事とした。さらに、対象建機をバックホウとしてキャビン上に離着陸用ヘリパッドを設置し、有線給電装置と地上局はヘリパッド下部へ設置した。
表㻌 㻡㻌 機体諸元㻌
項目説明

モーター軸間距離1145 mm

プロペラ

17 inches

機体重量6.8 kg

給電ケーブル長20 m

予備バッテリー有ラからの映像を建機オペレータへ提示する事で、カメラ台車を必－㻡－㻌
−35−

フジタ技術研究報告㻌 第㻡㻠号㻌㻞㻚㻠フィールド試験2017年12月に実施したフィールド試験において、建機上空をマルチコプター

マルチコプターが追従飛行している様子を図20に示す。また、マルチコプター搭載カメラから伝送された映像の画像を図21にヘリパッド示す。フィールド試験によって、タブレット端末からの自動離着陸、指定された建機との相対位置を保った追従飛行が可能なこ有線給電装置
地上局とを確認した。また、マルチコプターからの提示映像によって建発電機機の走行操作が行える事も確認した。
㻞㻚㻡図㻌 㻝㻤㻌 システム構成㻌

まとめ

本研究では、有線給電による長時間飛行、建機を自動追従飛行、ヘリパッドへの自動離着陸が可能なマルチコプターのシステ
ムを開発した。また、フィールド試験において建機オペレータへのヒアリング等を通じて建機の移動については有効であることを確認した。今後の課題として、自動離着陸精度を向上することでヘリパッドのサイズを縮小化（今回は2m×2m）、建機の履帯幅を視認できるように改良化、建機移動時の建機とマルチコプターの相対位置精度向上化などが挙げられる。
参㻌 考㻌 文㻌 献㻌1)

図㻌 㻝㻥㻌 㻌 タブレットの画面ユーザーインターフェース㻌

横矢直人、岩崎晃: ハイパースペクトル画像処理が拓く地球観
測、 人工知能学会、Vol. 9、No. 4、 pp. 357-365、 2014

2)

X. Cao, B. Ji, Y. Ji, L. Wang, L. Jiao: Hyperspectral image
classification based on filtering: a comparative study, Journal ofApplied Remote Sensing, Vol. 11, No. 3, July 2017

3)

F. Cao, Z. Yang, J. Ren, M. Jiang, W. Ling: Does Normalization
Methods Play a Role for Hyperspectral Image Classification?,
arXiv preprint arXiv:1710.02939, 20174)

藤本昭、松岡雅博、茶山和博、藤岡晃：遠隔操縦ロボット(ロボQ)の開発、土木学会第58回年次学術講演会、2003

5)

佐藤貴亮、藤井浩光、Alessandro Moro、杉本 和也、野末晃、㻌図㻌 㻞㻜㻌 追従飛行風景㻌

三村洋一、小幡克実、山下淳、淺間一：無人化施工用俯瞰映像
提示システムの開発、日本機械学会論文集、Vol. 81、No. 823、
2015

ひとこと
近年、生産性の向上と職場環境の改善と を 目的と し た 建設現 場へ のICT・ロボティクス技術の導入が活発である。その中で、技術自体の外観に囚われず、建設業のユーザーのニーズ・ウォンツ・シーズとコストとを見据え図㻌 㻞㻝㻌 マルチコプターからの提示映像の画像㻌

た価値ある貢献を心がけたい。
坂井 郁也
－㻢－㻌
−36−