Lidar nokta bulutlarının semantik segmantasyonu için derin öğrenme tabanlı iyileştirilmiş poıntnet++ mimarisi
An improved deep learning based pointnet++ architecturefor semantic segmentation of lidar point clouds
Yazar: ZEYNEP AKBULUT
Danışman: PROF. DR. FEVZİ KARSLI
Karadeniz Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Harita Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Jeodezi ve Fotogrametri = Geodesy and Photogrammetry

Özet:
Bu çalışmada, hava LiDAR nokta bulutlarının semantik segmentasyonunda iç mekân nokta bulutları için tasarlanmış, nokta bulutlarını doğrudan işleyebilen ve bu alanda öncü bir 3B Derin Sinir Ağı (DNN) mimarisi olan PointNet++ kullanılmıştır. Öncelikli olarak PointNet++ mimarisi çoklu sınıf arazi örtüsü ve iki sınıflı zemin/zemin-üstü problemlerinin semantik segmentasyonu için büyük ölçekli hava LiDAR nokta bulutlarına uyarlanmıştır. Mimariyi değişken nokta yoğunluğuna karşı daha kararlı hale getirebilmek amacı ile mimarinin orijinal yığın toplama stratejisi yerine nokta yoğunluğuna adapte olabilen Adaptif 1 ve Adaptif 2 isminde iki yeni yaklaşım önerilmiştir. Ayrıca, mimarinin farklı gruplama katmanlarını birleştiren yeni bir hibrit model geliştirilerek işleme süresi ve performansı açısından avantaj ve dezavantajları değerlendirilmiştir. Tez kapsamında, komşuluk arama yarıçap seçimini başlangıç değer için otomatize edebilen bir yaklaşım da önerilmiştir. Bunların yanı sıra, yoğunluk, geri dönüş sayısı ve dönüş numarası gibi ek ham özniteliklerin mimarinin performansı üzerine olan etkileri de irdelenmiştir. Önerilen yaklaşımların semantik segmentasyon performansları ISPRS Vaihingen, DALES, düzensiz DALES ve OpenGF nokta bulutu veri setleri üzerinde araştırılmıştır. Özellikle nokta yoğunluğu değişkenliğinin fazla olduğu OpenGF test veri setleri üzerinde orijinal mimariye göre ağırlıklı ortalama kesişim-birleşim oranı (mIoU) metriği Adaptif 1 yaklaşımı ile %17'ye ve Adaptif 2 yaklaşımı ile %11'e varan iyileşme göstermiştir. Adaptif 1 ve Adaptif 2 yaklaşımları sayesinde düzensiz DALES veri seti üzerinde mIoU doğruluklarında sırası ile %1 ve %3 performans artışı sağlanmıştır. Adaptif 1 ve Adaptif 2 yaklaşımlarının genelleştirme kabiliyetleri test edilerek orijinal mimariye göre doğruluk düzeylerinde sırasıyla yaklaşık %3 ve %5 oranında iyileşme sağladığı tespit edilmiştir. Bu yaklaşımlar sayesinde mimarinin deneme yanılma yöntemi ile parametre seçimine olan ihtiyacı büyük oranda ortadan kaldırılmıştır. Mimari, değişken nokta yoğunluğuna ve parametre seçimine karşı daha kararlı bir hale getirilmiştir.

Abstract:
PointNet++, a 3D Deep Neural Network (DNN) architecture that can directly process point clouds and is designed for indoor point clouds, is used for the semantic segmentation of Airborne Laser Scanning (ALS) point clouds. Initially, the PointNet++ architecture is adapted to large-scale airborne LiDAR point clouds for multi-class land cover and binary ground/non-ground semantic segmentation tasks. Two new approaches, called Adaptive 1 and Adaptive 2, are proposed to make the architecture more robust against varying point densities by adapting to point density instead of using the original bacthing strategy. Furthermore, a new hybrid model that combines different grouping layers of the architecture is developed and evaluated in terms of processing time and semantic segmentation performance. In addition, an approach is proposed to automate the selection of the initial value for the neighborhood search radius. Also, the effects of additional raw attributes such as intensity, return number and number of returns on the performance of the architecture are investigated. The semantic segmentation performances of the proposed approaches are evaluated on ISPRS Vaihingen, DALES, irregular DALES, and OpenGF point cloud datasets. Specifically, on the OpenGF test datasets with high point density variation, the architecture's weighted average Intersection over Union (mIoU) accuracy has improved by up to 17% with the Adaptive 1 approach and 11% with the Adaptive 2 approach. Adaptive 1 and Adaptive 2 approaches have achieved performance increases of 1% and 3% in mIoU accuracy on the irregular DALES dataset, respectively. The results show that the Adaptive 1 and Adaptive 2 approaches improve the generalization ability of the PointNet++ architecture for mIoU by approximately 3% and 5%, respectively. These proposed approaches significantly reduce the need for trial-and-error parameter selection while making the architecture more robust against both point sampling and parameter selection.