深層学習を用いた航空レーザフィルタリング
修正箇所の自動検出橋本 寛治・王 婭・鈴木 久美子・高橋 元気（国際航業株式会社）

1．はじめににより特定したのちに、人手で点群修正してい航空レーザフィルタリング業務では、地盤高る。の取得を目的としてレーザ計測点から樹木や建物といった地表面以外の点群を除去して地盤点2.1

フィルタリング漏れ箇所の判読群を得る。従来、除去のために点群処理ツー自動フィルタリングの誤りのうちフィルタリングルを用いて自動でフィルタリング処理を行ってい漏れの箇所は、自動フィルタリング後の地盤点るが、自動フィルタリング結果に含まれる誤りを群から作成した段彩陰影図による判読を行い、人手で修正（手動フィルタリング）する作業時間修正箇所を決定している（図4）。修正箇所は建が長く、人的コストが高いといったことが課題物、植生、橋梁など地盤以外の地物が対象でとなっている（図1）。そこで、本研究では手動フィある。またダム・堤防は地盤として扱うとし、ルタリング作業量の低減に資するべく、深層学修正の対象ではない。地物は段彩陰影図では習モデルを用いた自動フィルタリング後の点群周囲の地盤から凸形状と表現されるという特徴の修正箇所検出手法を開発した。また深層学があるため判読することができる。

習モデルとして複数のモデルを比較検討した。
2.2
2．既存手法

過剰フィルタリング箇所の判読自動フィルタリングの誤りのうち過剰フィルタ

既存手法では手動フィルタリングで自動フィルリング箇所は、段彩陰影図での地形表現に加タリングの誤り箇所を修正している。修正する

えて、陰影点群図を利用して判読している。陰自動フィルタリングの誤りは、「フィルタリング漏影点群図とは自動フィルタリング前の段彩陰影れ」と「過剰フィルタリング」の2種類に分けら図と、自動フィルタリング後の地盤点の有無をれる。フィルタリング漏れは建物や植生を、地示した点群図を重畳した図である（図2）。但し盤点群に含めてしまうケースである。過剰フィル

ここで利用する段彩陰影図はグレースケール変タリングとは地盤と見なすべき地物を地盤点群換したものを使う。
この陰影点群図では自動フィから削除してしまうケースである。この2種類のルタリング前の地物を背景の段彩陰影図で判読誤りについて、2.1,2.2項に示す修正箇所を判読しながら、その地物地盤点の画素と重畳してい図112

先端測量技術 118号

既存のフィルタリング手法

いる。なお、いずれの場合もオルソ写真を参考情報として参照することもあるが、基本的には段彩陰影図等を利用している。
3．提案手法
自動フィルタリングの誤りであるフィルタリン
グ漏れでは地物が対象であるのに対して、過剰図2

フィルタリングの対象は本来地盤であるものの陰影点群図削除された領域であり、誤りの箇所は異なる性質を示している。そこで修正が必要となる漏れ箇所と過剰箇所それぞれを別個に検出するセマンティックセグメンテーションモデルを構築した。セマンティックセグメンテーションモデルは画素単位で分類を行う深層学習モデルである。
モデルの教師データとして、手動フィルタリン

図3グの作業領域を示すマスク画像を利用した。マ

修正箇所の例

スク画像は手動フィルタリング前後の標高差分れば地盤点から削除されておらず、反対に地物に対して閾値を設定することで作成した。標高に対応する地盤点の画素がなければ、自動フィ差分が負の領域は漏れ箇所を推定するモデル

ルタリングにより地盤点から削除されているとの教師、正の領域は過剰箇所を推定するモデ判読できる。過剰フィルタリングの修正箇所は、ルの教師となる。

堤防や砂防ダムの堤体、河川の護岸や擁壁といった地盤と見なす地物が削除されている領域が対象となる（図3）。

3.1

フィルタリング漏れ箇所検出モデル

既存手法の漏れ箇所の判読では、地形表現が特徴的で地物が判読しやすい段彩陰影図が2.3

手動フィルタリング利用されている。提案手法での漏れ箇所の検自動フィルタリング後の点群の修正箇所は、出においても地形の特徴が大きく影響すると考2.1や2.2のように図面で判読し決定する（図4）。

えられることから、自動フィルタリング後の点群決定した修正領域に対して手動フィルタリングから作成した段彩陰影図を入力データとするモにて点群を修正することで、最終成果品としてデルを構築した。

図4

修正領域の判読133.2

過剰フィルタリング箇所検出モデル

ンダリング手法に着想を得たモデルで、低解像過剰箇所の検出においても地形的特徴は重度の出力をBilinear補間でアップサンプリングす要であると考えられるため、段彩陰影図を入力る際に、確信度の低いピクセルは再度クラス予データの1つとした。一方で、既存手法の判読測することで精度を高める。OCRNetでは対象に用いていた陰影点群図は、段彩陰影図と点物領域に着目した自己注意機構を導入している。

群図という2つの図の重畳であり、特に点群図

BiSeNetV2は、全体を高解像度のまま細部の情の画素値はカテゴリ値であり通常の画像とは異報を維持するネットワークと、高度なコンテキストなる性質をもつ。CNN（畳み込みニューラルネッを抽出するネットワークの2つから成り、最後にトワーク）に用いられる畳み込み演算では、近情報の統合を行う。これらのモデルは画像を扱接領域の画素値で演算する機構であり、カテゴう深層学習モデルで基本技術となっているCNNリ値と連続値が混交して演算が行われる。そでの特徴量抽出をベースとしたモデルである。のため陰影点群図は、畳み込み演算を用いる

一方でSegFormerは他と異なりTransformerをCNNベースの深層学習にそのまま用いることはベースとしたモデルであり、非常に大きなデー適さないと考えられる。

タセットで学習した場合、性能が良いとされる。

そこで、自動フィルタリングが作用した領域

入力画像はパッチと呼ばれる小領域に分割されを示す陰影点群図の代替として、自動フィルタるが、パッチ同士の関係性についても学習を行

リング前後の標高差分を使用した。この標高うため、受容野は画像全体となると解釈される。

差分は、自動フィルタリング前の点群の最低点

この特色の異なる5つのモデルを用いて、漏から生成した標高と、自動フィルタリング後のれ箇所及び過剰箇所をそれぞれ検出するモデ地盤点から生成した標高の差分であり、自動ルを構築して比較検討を行った。

フィルタリングによって地物が削除されていれば、標高差が大きくなる性質をもつ。また差分の情報は連続値であるため、CNNで扱いやす

4.2

学習

対象地域は、自動フィルタリングで誤りが起こりやすい大型建造物や河川護岸などの地物がく入力データに適していると考えられる。
以上のことから、過剰フィルタリング箇所検含まれる東京都の都市部とし、航空レーザ点群

出においては、段彩陰影図と自動フィルタリンから作成した標高画像や段彩陰影図を入力デー

グ前後の標高差分を入力データとするモデルをタとした。入力データは図郭単位で作成され、構築した。

1図郭を3500×5000ピクセルの画像データとした。学習データセットはtrain/val/testの3群に4．実験分けて構築した（図5）。全図郭で192図郭あり、4.1

train群は144図 郭、val群、test群は24図 郭で実験概要

実験ではセマンティックセグメンテーションのあった。本研究では1つのモデルにつき、20万手法の中で良く利用される、DeepLabV3+1）、回の学習を行った。学習にはtrain群のデータを2）3）4）使用し、1000回の学習ごとにval群で評価を行っ

SegFormer の5つのモデルの比較検証を行った。そのうち最良の結果を示した学習回数時点た。DeepLabV3+はマルチスケールの情報を統での重みを使い、test群で最終的な評価を行っ合する機構を持つモデルで、デファクトスタンた。1回の学習に際して20枚の画像を同時に読ダードなモデルである。PointRendは、CGのレみ込み、3500×5000ピクセルの画像から600×

Poi nt Rend 、 O CR Net 、 Bi S eNetV2 、
5）14

先端測量技術 118号

して開発されたモデルであるため、細部に対しての検出が不十分であったと考えられる。
また両方の検出対象で安定的に性能を発揮したのはPointRendとDeepLabV3+であった。
5.2

定性評価

次に定性評価を示す。図6上段に漏れ検出モ
デル、下段に過剰検出モデルの検出結果を示す。
検出結果は白い領域としてモデルごとに表示し、図5

重畳して赤枠で示されているのが漏れ領域の、対象地域青枠で示されているのが過剰領域のグラウンド600の領域をランダムに取り出して用いた。

トゥルースである。図6上段では大型建築物が対象となっており、全てのモデルでおおよその5．実験結果領域は検出している。一方で、検出漏れや誤検5.1出となった領域も認められる。DeepLabV3+や定量評価

表1、表2に各実験の定量評価を示す。漏れPointRendの結果では北側の箇所を除いて良好検出モデルで最良の結果を示すOCRNetではな結果を示している。OCRNetでは境界で良好に約68.8%の修正箇所を、次点のPointRendでは検出するも、誤り検出も大きい。またBiSeNetV2約67.3%の修正箇所を検出した。DeepLabV3＋やSegFormerでは建物西側の細部への対応でとの差はわずかであった。

きなかった。高解像度の情報がネットワークで過剰箇所検出モデルでは、PointRendが約53.1%と最良の結果を示し、DeepLabV3＋を上の情報の集約過程で消失したため、推論結果に反映されなかったと考えられる。

回った。OCRNetは約37.7%と、漏れ検出モデ図6下段では、周囲の地盤より低い箇所を通ルのような性能は得られなかった。また5つのる鉄 道 用地の 擁 壁 部 分 での検 出 例を示 す。

モデルの中で、特にSegFormerの性能は低かっ

DeepLabV3+やPointRendでは検出漏れの領域た。一 般にTransFormer系統のモデルでは、が多くなっているものの、検出自体は可能であっデータ量が十分に大きいときには高い性能を示た。一方でOCRNet、BiSeNetV2やSegFormer

すが、データ量が限定的な場 合には既存のでは殆ど検出ができなかった。これらのモデル

CNNよりも劣ることが知られていることから、では細部の情報を消失してしまったため、検出今回の学習データ量が不十分だった可能性がに問題が生じたと考えられる。こうした細部領ある。BiSeNetV2も過剰箇所の検出に対応で域が多く、モデル間でのスコアの差を広げた要きていない。BiSeNetV2は高速な推論を目的と因であった。

表1

漏れ検出モデルの性能比較

表2過剰検出モデルの性能比較

対象モデル

IoU

Recall

対象

モデル

IoU

Recall漏れ

DeepLabV3 ＋

49.38

66.96

過剰

DeepLabV3 ＋

33.99

51.48

漏れ

PointRend

50.63

67.29

過剰

PointRend

34.48

53.10

漏れ

OCRNet

48.10

68.80

過剰

OCRNet

29.59

37.74

漏れ

BiSeNetV2

40.53

60.06

過剰

BiSeNetV2

22.97

26.77

漏れ

SegFormer

36.82

45.53

過剰

SegFormer

25.55

33.69

15

図6

定性評価結果6．まとめ

Object-Contextual Representations for

航空レーザフィルタリングにおいて、自動フィル

Semantic Segmentation, Proceedings of

タリング処理時に発生する2種類の誤り（漏れ・the European Conference on Computer過剰）をそれぞれ検出するモデルを開発した。

Vision（ECCV）, pp. 801-818, 2018

複数のモデルを比較検証した結果、PointRend

３）A. Kirillov, Y. Wu, K. He and R. Girshick,が安定的に高精度で頑健なモデルであった。
漏れ検出においては約7割の修正箇所を検出し、特に大型建造物の検出で良好な結果を示した。過剰箇所検出モデルにおいては、難易度の高い鉄道用地の擁壁部分過剰フィルタリン
グ箇所の検出が可能であった。航空レーザフィ
ルタリング業務においては、検出結果を利用したスクリーニングを行うことにより、判読作業のコストが低減する見込みであり、一定程度の目標を達したといえる。また検出結果を用いた点群の自動修正を行うことにより、手動フィルタリング作業の低減が期待できる。
今後は、教師データ作成基準の不一致からくる誤検出やモデルの出力結果に含まれるノイズ低減、水域でのブレイクラインへの対応について取り組み予定である。
■参考文献
１）Liang-Chieh Chen, Yukun Zhu, George

PointRend：Image Segmentation As
Rendering, Proceedings of the Computer
Vision and Pattern Recognition（CVPR）,
pp. 9796-9805, 2020４）Yu, C., Gao, C., Wang, J. et al. BiSeNet
V2：Bilateral Network with Guided
Aggregation for Real-Time SemanticSegmentation. Int J Comput Vis 129,3051-3068, 2021
５）Enze Xie, Wenhai Wang, Zhiding Yu,
Anima Anandkumar, Jose M. Alvarez,and Ping Luo, SegFormer: Simple andEfficient Design for Semantic Segmentation with Transformers. Proceedingsof the Neural Information Processing
Systems, 2021
■執筆者
橋本 寛治（はしもと かんじ）
国際航業株式会社

Papandreou, Florian Schroff, Hartwig
Adam, Proceedings of the European（共著者）所属は筆頭著者に同じ

Conference on Computer Vision（ECCV）,王 婭（おう あ）

pp. 801-818, 2018鈴木 久美子（すずき くみこ）

２）Yuan, Y., Chen, X., Wang, J.（ 2020）.

16

先端測量技術 118号

高橋 元気（たかはし げんき）