令和元年度福島県ハイテクプラザ試験研究報告

狭隘内部空間の三次元構造復元に関する研究開発
Research and development on 3-D structure restoration of interior narrow spaces
技術開発部生産・加工科 鈴木健司 山田昌幸 浜尾和秀
南相馬技術支援センター機械加工ロボット科 三浦勝吏 太田悟
本研究では、単眼光学カメラ、ミリ波レーダを利用し、狭隘空間内構造物の三次元復元に向けた点郡データ取得法を開発する。本報では、単眼光学カメラ画像を用い、先行研究のVisual-SLAM による深度推定、AI 人工知能による深度推定を試み、得られる点郡データ及び深度画像から深度確度を比較評価した。また、レーダ評価基板を用い、ミリ波レーダにおける二つの物体の距離方向分離、及び方位方向分離を評価した。
Key words: 狭隘、単眼、カメラ、ミリ波、レーダ、三次元、構造、復元

１．緒言
高度経済成長期に整備された橋梁やトンネル等の社会インフラの老朽化が進み、社会インフラ更新時期の本格的到来に備えた対応が、全国的な課題となっている。現在 340 万人の技能労働者のうち今後１０年間に110 万人の離職予測１）から、インフラ点検の効率化が喫緊の課題となっている。また、修繕・更新工事費用の急激な増加（7.6 兆円：２０１５年度）２）に伴い、予防保全さらには予知保全に向け、維持管理の重要性が増している。この問題は、県内のインフラ点検業者（建設業者等）においても同じく課題となりつつある。
本研究開発では、従来、目視点検だけに頼っていた点検をロボットビジョンと組合せ、小型のセンサが必要な、狭隘部分の検査メンテナンスを対象とし、狭隘部内部空間の点検の定量化を図ることで点検業務の効率化に寄与することを目的とする。
ここで構築するデータは、3D 図面との突合、あるいは、図面が無い場合にこの計測を元に内部点検・モニタリングに供することができ、従来の外観検査の範囲を向上させることができる。
本研究開発は、単眼光学カメラによる構造物の深度推定及びミリ波レーダによる深度計測を行う。

像から深 度を推定する手法である Deeper Depth
Prediction with Fully Convolutional ResidualNetworks３）（以下 FCRN）及び Monodepth2４）を実装し、性能について評価した。開発環境は表１の通り。
光学単眼カメラの評価については、長さ 3[㎝]の立方体木製ブロックを複数個組み合わせたものを対象物(以下、物標と言う)として用いた。また、赤外線ステレオカメラ（インテル社製 Real Sense D435）を真値として評価実験を行った。実験の様子を図１に示す。
２．１．１．２．深度推定の評価
W6×D3×H24[cm]の物標を 50[cm]及び 75[cm]、100[cm]の３か所において深度推定を行い、距離を計測した。深度推定の結果を表２に示す。なお、Monodepth2については得られた深度値の単位が定められていなかったため、50[cm]及び 150[cm]の深度推定を行い、得られた深度値を基準として距離 75[cm]及び 100[cm]の時の深度値をセンチメートルに換算している。ステレ
オカメラと比較した結果、FCRN、Monodepth2 いずれにおいても深度推定値が大きく外れる結果となった。
また、表３の条件で物標が奥行き方向に分離して計測できるか確認した。オフセット 15[㎝]の場合と3[㎝]の場合の結果を図２及び図３に示す。また、横軸
表１ 開発環境

２．実験
２．１．光学単眼カメラ
２．１．１．畳み込みニューラルネットワークによる深度推定
２．１．１．１．環境構築及び実験準備
カメラを用いて三次元構造を復元する場合、画像から距離を計測する深度計測が必要となる。深度を計測する際、ステレオカメラや LiDAR が使用されることが多いが、今回の研究では狭隘部を想定しているため、小型化可能な単眼カメラを用いて深度を計測する必要がある。そのため、畳み込みニューラルネットワー
ク（以下、CNN と言う）を用いて単眼カメラによる画
事業課題名「狭隘内部空間の三次元構造復元に関する研究開発」[令和元～２年度][チャレンジふくしま「ロボット産業革命の地」創出事業]
-1-

FCRN

Monodepth2

フレームワーク

Tensoflow1.15

Pytorch0.4.1

言語

Python3.5Python3.6

OSGPU

Ubuntu18.04
GeForce GTX 1650

Ubuntu18.04
GeForce GTX 1650

深度推定

オフセット距離物標間距離

図１ 実験環境令和元年度福島県ハイテクプラザ試験研究報告

表２ 深度推定結果［cm］

横軸方向のピクセル位置［pixel］

FCRN

Monodepth2

51
77
99
1.4

114
131
142
50.0

‐
100
131
45.1

50[cm]
75[cm]
100［cm］
RMSE

深度値 [無単位]

ステレオカメラ52 58 64 70 76 82 88 94 100 106

表３ 深度推定実験条件
測定手法

ステレオカメラ、FCRN、Monodepth2

物標の大きさカメラからの距離( )はオフセット値

左W6×D3×H24［㎝］右W6×D3×H24［㎝］

左50［㎝］

右65(15),59(9),53(3)[cm]

画像サイズ

オフセットなし
オフセット6㎝

図５

オフセット3㎝
オフセット15㎝

深度推定結果（Monodepth2）をとっている。
ステレオカメラは 3[cm]のオフセットでも２組の物標の深度の違いを認識できたが、FCRN については15[㎝]オフセットさせた場合でも２組の物標が１つの物体として表示される結果となった。
また、Monodepth2については、オフセット 15[㎝]までは物標を別と認識できていたが、オフセット 3[㎝]及び 9［㎝］の場合は１つの物標として認識される結果となった。

160×128［pixel］

FCRN
Monodepth2
図２ 物標間オフセット（15[㎝]）２．１．１．３．方位方向の評価
方位分解能について評価実験を行った。表４の条件で方位方向に物標が分離できるか確認した。物標間が21[㎝]の場合と 3[㎝]の場合の結果を図６及び図７に示す。深度画像を分析したところ、FCRN については、物標間の距離が 3[㎝]の場合でも、深度推定画像から物標が２つあることが確認できた。Monodepth2 については物標間の距離が 9[㎝]までは物標が２つあることが確認できたが、3[㎝]の場合は物標が１つの物体として表示されることを確認した。

FCRN
Monodepth2
図３ 物標間オフセット（3[㎝]）2.5

深度値［m］

00.01
0.02
0.03
0.04
0.05
0.06
0.07
0.08

2

表４ 方位方向の実験条件

1.5
測定手法
1
物標の大きさ0.5
052 58 64 70 76 82 88 94 100 106
横軸方向のピクセル位置[pixel]
オフセットなし
オフセット6㎝

ステレオカメラ、FCRN、Monodepth2
左W6×D3×H24［㎝］右W6×D3×H24［㎝］

カメラからの距離
物標間の距離50［㎝］
21,15,9,3［㎝］

画像サイズ

160×128［pixel］

オフセット3㎝
オフセット15㎝

図４ 深度推定結果（FCRN）にピクセル位置、縦軸に深度値をとったグラフを図４、図５に示す。なお、深度値は、画像中で物標が存在する位置の縦方向のピクセル位置 50 から 90 までの平均-2-FCRN
Monodepth2
図６ 物標間間隔（21[㎝]）令和元年度福島県ハイテクプラザ試験研究報告

元画像
FCRN
Monodepth2
図９ 物標サイズ W3×D3×H3［㎝］

FCRN
Monodepth2
図７ 物標間間隔（3[㎝]）２．１．２ Visual-SLAM の実装
Visual-SLAM とは画像を解析することでカメラの位置と姿勢を推定し、同時に三次元情報を取得する技術である。CNN を用いた深度推定と同様に単眼カメラから三次元情報を取得できるため、狭隘部の三次元構造を復元する手段としても期待できる。そこで、VisualSLAM の代表的な手法であるORB-SLAM2５）、LSD-SLAM６）、
７）
及び REMODE を実装した。開発環境は表７のとおり。
ORB-SLAM2 は画像から特徴点を抽出し特徴点の三次元情報を取得するため、疎な点群が得られ、LSD-SLAM及び REMODE は画像の輝度を利用して密な点群が得られるといった特徴がある。それぞれの手法を用いて、研究室の一部を三次元化した様子を図１０に示す。三次元復元を行うにはより密な点群が得られる REMODEが有用であることが確認できた。

２．１．１．４．物体認識の評価
物体認識について評価実験を行った。表５の条件で物体が認識できるか確認した。物標がない場合の深度値を基準として、それぞれの物標の場合の二乗平均平方根（RMS）を算出した。結果を表６に示す。また、W24×H24［㎝］及び W3×H3［㎝］の深度推定結果をそれぞれ図８、図９に示す。FCRN については W3×H3［㎝］には深度値のばらつきに埋もれてしまい、物標を検出できないことが分かった。Monodepth2 については、RMSを比較したところ物標がない場合と差は出ていることから、何か物体があると認識していることが確認できた。
表５ 物体認識の実験条件
測定手法

ステレオカメラ、FCRN、Monodepth2
W24×D3×H24［㎝］

カメラからの距離

W18×D3×H18［㎝］
W12×D3×H12［㎝］W6×D3×H6［㎝］
W3×D3×H3［㎝］
50［㎝］

画像サイズ

160×128［pixel］

物標の大きさ２．２．ミリ波レーダ
２．２．１．レーダの特性
レーダは光学カメラに比べ、雨・霧・雪・濃煙・粉塵環境下でも測距が可能であり、昼夜に依存しないこと、太陽光の直射による影響がなく、気象や外部環境による影響をほとんど受けない測定手段としての利用
表７ Visual-SLAM 開発環境

表６ 物標がない場合の深度値を基準とした RMS と標準偏差［cm］
RMS

ORB-SLAM2

LSD-SLAM

REMODE

フレームワーク

ROS-melodic

ROS-indigo

ROS-indigo

Ubuntu18.04

Ubuntu14.04

Ubuntu14.04

標準偏差OS（W×H［㎝］）

24×24

18×1812×126×63×3

物体なし

GPU

GeForce GTX 1650

FCRN

134.1487.29

50.29

14.76

2.876.35

使用カメラ

ロジクール社製 C615

Monodepth2

82.63

125.59

84.29

78.27

67.56

25.75

元画像
FCRN
Monodepth2
図８ 物標サイズ W24×D3×H24［㎝］

研究室風景（左上） ORB-SLAM2（右上）LSD-SLAM(左下)REMODE（右下）
図１０ Visual-SLAM による三次元像-3-

令和元年度福島県ハイテクプラザ試験研究報告が期待できる。本報では、送信アンテナ 2 素子、受信アンテナ 4 素子からなる MIMO レーダ機能を持つ
79[GHz]レーダ評価基板を用い、物標の深度計測に利用することにした。レーダ評価基板の主要諸元を表８に示す。
用いるレーダ評価基板は筆者らの事前調査から、高い方位角分解能が得にくく、近接した複数物標の分離や形状認識が苦手であるため、本報では、距離方向（以下、レンジ方向と言う）及び方位角方向（以下、アジマス方向と言う）で、２つの物標が分離できる距離を確認する。
なお、利用したレーダ評価基板は、非技術基準適合品であるため、全ての実験は、電波暗室及びシールドブース内で実施した。

表１０ 計測波形の解析結果
Chirp
Time
Best-Fit FM
Time Start
CyjcleLengthSlope[sec]
Time [sec] [sec][Hz/μs]12.80E-07
5.55E-05
6.99E+07
2 0.00048645
4.86E-04 5.55E-05
6.99E+07
3 0.00097262
4.86E-04 5.55E-05
6.99E+07
4 0.00145879
4.86E-04 5.55E-05
6.99E+07
5 0.00194496
4.86E-04 5.55E-05
6.99E+07Region

下り前を波形トリガのため狭めた事に起因する。
２．２．３．アジマス方向
狭隘空間内の同一距離の複数物標を別々に計測するためには、アジマス方向の分解能を把握することが必要である。レーダ評価基板を基準に、コーナリフレクタとの距離を図１２（左）のように取り実験を行った。
なお、コーナリフレクタ２個間の距離は図１２（右）に示す間の距離とした。用いたコーナリフレクタは三角錐型で、レーダ断面積は 79［GHz］で 0.117［m2］(9.33［dBsm］)である。
レーダとの距離を 50［cm］、60［cm］、70［cm］、80［cm］と変え、コーナリフレクタが分離して計測できるコーナリフレクタ間距離を求めた。その結果を図１３に示す。
図１３の方位分解能から、レンジが長くなる程、コーナリフレクタ間距離を離さないと分離できない事を確認できた。

２．２．２．送信波の確認
福島ロボットテストフィールドに設備するレーダ評
価装置を用い、表９のレーダ送信波形を空間伝播のOTA（Over The Air）で計測した。計測画面を図１１に、解析結果を表１０に示す。設定どおりの FastChirp 変調信号が輻射できていることを確認できた。なお、解析結果の Time Length が、輻射する Chirp Cycle Timeより短い理由は、解析時に波形の立ち上がり後と、立表８ レーダ評価基板の主要諸元
IWR1642Boost※非技術基準適合品

型名
送信アンテナ[ch]受信アンテナ[ch]
周波数[GHz]
変調方式

2477-81
FCM

２．２．４．レンジ方向
狭隘空間内の距離が異なる物標を別々に計測するた
めには、レンジ方向の分解能を把握することが必要である。表８の距離分解能 4.3[cm]に基づき、表１１の条件でコーナリフレクタが分離して計測できるかを確認した。その結果を図１４に示す。

(Fast Chirp Modulation)

距離分解能[cm]方位分解能[deg]最大視野角[deg]
最大仰俯角[deg]4.315±60±20

表９ Fast Chirp 変調信号諸元Idle
Time[μs]

Frequency
Chirp Cycle
Slope[MHz/Time [μs]μs]
57.14486.1970

Ramp EndTime [μs]429

レーダとの距離リフレクタ間距離

図１２ 実験環境
レンジとリフレクタ間距離
リフレクタ間距離[cm]19181716151413121110505560657075

レーダとの距離[cm]図１１ チャープ波形４波の取得

図１３ レンジとリフレクタ間距離-4-80

令和元年度福島県ハイテクプラザ試験研究報告

計測環境中の不要反射は、対象としている領域が狭いこと、本計測ではコーナリフレクタだけを用いた理想環境であることから、CFAR の効果は認められなかった。

表１１ コーナリフレクタオフセット位置

コーナリフレクタ
左右

レーダ評価基板からの距離[cm]5050555060506550４．結言

距離:50cm

距離:55cm

距離:60cm

本報告では、光学単眼カメラ、ミリ波レーダを用いた狭隘内部空間の構造を三次元復元するための基礎実験を報告した。
光学単眼カメラでは、CNN を用いた深度推定手法である FCRN 及び Monodepth2 を実装し、深度及び方位分解能、奥行き分解能、物体認識について評価を行った。
FCRN と Monodepth2 を比較した場合、深度値の誤差はMonodepth2 の方が小さい結果となった。今後の学習モデルの結果次第ではあるが、現時点では Monodpeth2 が有用であることが確認できた。
また、Visual-SLAM の手法である ORB-SLAM2 及び LSD－SLAM、REMODE を実装し動作確認を行った。三次元復元を行うには密な点群が得られる REMODE が有用であることが確認できた。
ミリ波レーダでは、物標としてコーナリフレクタ２個を用い、アジマス方向、レンジ方向で物標を分離できるレンジ方向の距離及び同一レンジでのコーナリフレクタ間分離距離を確認した。また、計測環境中の不要反射は無かった。
次年度は、具体的な対象物による深度計測を光学単眼カメラ及びミリ波レーダを用い進める予定である。

距離:65cm

図１４ レーダとリフレクタ間の距離

図１４は、アジマス(横軸±0.5[m])とレンジ(縦軸1[m])の Heatmap で、赤いスポットはコーナリフレクタの位置を示し、レーダの強い反射を示す。
図１４から、隣接したコーナリフレクタは 5[cm]の距離差で分離できることを確認できた。
２．２．５．不要反射物標以外からの意図しないレーダの不要反射を抑圧する技術に CFAR（一定誤警報率）８）がある。CFAR-CA、CFAR-GO、CFAR-SO それぞれについて、閾値を変動させその効果を確認した。
測定範囲がレンジ方向 1[m]、アジマス方向±0.5[m]としているため、本報の実験環境では不要反射が存在せず、CFAR の効果はなかった。

３．考察

参考文献
１）国土交通省. “参考資料 建設産業の現状と課題”．
第 6 回建設産業政策会議資料”. 2017.6. p.8.
２）公益財団法人日本プラントメンテナンス協会.
“2016 年度メンテナンス実態調査報告書概要”.
2017.4. p.31.
３）Iro Laina, Christian Rupprecht,
Vasileios Belagiannis, Federico Tombari, Nassir
Navab. “Deeper Depth Prediction with Fully
Convolutional Residual Networks.”
International Conference on 3D Vision.
IEEE,2016,p.239-248.
４）Clement Godard, Oisin Mac Aodha,
Michael Firman, Gabriel J. Brostow“Digging
Into Self-Supervised Monocular Depth
Estimation”.ICCV2019,2019５）Raul Mur-Artal, J. M. M. Montiel,
Juan D. Tardos.“ORB-SLAM2: a Versatile andAccurate Monocular SLAM System”.
IEEE Transactions on Robotics,2015
６）Jakob Engel,Thomas Schöps,Daniel Cremers

３．１．光学単眼カメラ
深度についてステレオカメラと比較し、実験を行ったが精度よく深度を推定することができなかった。これは、深度推定を行った学習モデルが狭隘部などの狭い空間を想定していないためだと考えられる。今後、狭隘部の画像データを学習させ、再度評価を行うこととしたい。
３．２．ミリ波レーダ
レーダ評価基板の方位分解能 15[deg]から、レンジが長い程アジマス方向に物標を分離できない事が確認できた。該当レンジの物標測定時は、レーダ評価基板を左右に動かすことで、アンテナの方位分解能を超えて物標を捉える必要がある。レンジ方向では、5[cm]の距離差で物標を分離できることが確認できた。
同一レンジの物標では、先のアジマス方向で述べたとおり物標を分離できないが、レンジ方向に 5[cm]の距離差が生じれば分離できるため、計測時はアジマス方向の分解能に留意が必要である。

-5-令和元年度福島県ハイテクプラザ試験研究報告“LSD-SLAM:Large-Scale Direct MonocularSLAM”.ComputerVisionECCV2014,2014,p.834-849.
７）Matia Pizzoli, Christian Forster,Davide Scaramuzza“REMODE: Probabilistic,Monocular Dense Reconstruction in Real Time”.
IEEE International Conference on Robotics andAutomation (ICRA),2014
８）電子情報通信学会. “5 章基礎・共通技術 5-2 レーダの原理”. 電子情報通信学会「知識ベース」. 2011.
p.10.

-6-