3B nokta bulutlarının derin öğrenme yöntemiyle semantik segmentasyonu
Semantic segmentation of 3D point clouds using deep learning methods
Yazar: MERT BEŞİKTEPE
Danışman: DOÇ. DR. CANER GÜNEY
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Geomatik Mühendisliği Ana Bilim Dalı / Geomatik Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Jeodezi ve Fotogrametri = Geodesy and Photogrammetry
Dizin: Coğrafi bilgi sistemleri = Geographical information systems ; Derin öğrenme = Deep learning ; Üç boyutlu modelleme = Three dimensional modelling

Özet:
Üç boyutlu (3B) kent modelleri, kentsel alanlarda yaşanabilecek değişimlerin 3B olarak izlenmesi, kent çevre ilişkisinin modellenmesi ve kentsel simülasyon uygulamaları için altyapı sağlayarak mekansal planlama çalışmaları için veri temelli karar verme süreçlerinin geliştirilmesine olanak tanımaktadır. Söz konusu modelleri geliştirilmesi için; detay düzeyi uygulama amaçlarına bağlı olarak değişen, yüksek doğruluklu, güncel ve büyük miktarda 3B mekansal bilgiye gereksinim duyulmaktadır. Lazer tarama, görüntüleme ve yer gözlem uyduları gibi veri elde etme teknikleri ile fotogrametri ve bilgisayarlı görü alanlarındaki veri değerlendirme yöntemlerine ilişkin yaşanan gelişmeler 3B mekansal bilginin nokta bulutu biçiminde doğrudan ölçme ile ya da başka veri kaynaklarından türetme yolu ile üretilmesine olanak sağlamıştır. 3B nokta bulutları günümüzde klasik kullanım alanları olan ölçme ve planlama çalışmaları haricinde robotik, otonom mobilite, 3B modelleme ve dijital ikiz oluşturma gibi yüksek teknolojili ve katma değerli uygulamalara olanak tanımaktadır. Kent ölçeğinde ve yüksek çözünürlüklü bu veri kaynağının klasik yaklaşımlarla yönetilmesi ve işlenmesi pek mümkün olamamaktadır. Öte yandan derin öğrenme yaklaşımları büyük veriden modern hesaplama donanımları kullanılarak derin yapay sinir ağlarının eğitilmesini sağlayacak bir paradigma değişimi getirmiştir. Derin öğrenme sayesinde sınıflandırma, nesne yakalama ve segmentasyon görevlerinin veri işlem süreçlerinin otomasyonu amacıyla yerine getirilmesi için geçmişe nazaran çok daha güçlü çözümler elde edilebilir hale gelmiştir. Bu çalışmada, 3B nokta bulutlarından derin öğrenme alanının gelişimi incelenmiş, bu modelleri kıyaslamada kullanılabilecek değerlendirme ölçütleri, araştırma grupları tarafından kabul görmüş açık veri setleri, 3B nokta bulutlarını işlemek için mevcut açık kaynaklı derin öğrenme yazılım kütüphanesi, performans yarışmaları tanıtılmıştır. 3B nokta bulutlarının semantik segmentasyonu için yararlanılabilecek modern bulut bilişim olanakları araştırılmıştır. Eğitim sürecini yürütmek için gereksinimler belirlenmiş ve çözüm önerileri geliştirilmiştir. Bulut bilişim imkanları kullanılarak derin öğrenme için oluşturulan bir geliştirme ortamında bir segmentasyon modelinin eğitim ve test süreci uygulama olarak gerçekleştirilmiştir. Yapılan literatür taraması ve yürütülen derin öğrenme ağının eğitimi süreci sonucunda 3B nokta bulutlarından derin öğrenme çalışmalarında 3B şehir modelleme ve diğer pek çok farklı uygulama alanının 3B uzamsal veri gereksinimini gerçek zamanlı olarak dahi karşılayabilecek çözümler geliştirildiği görülmüştür. Bu çözümlerden yararlanmak için ise yüksek performanslı hesaplama donanımlarına erişime ve açık kaynaklı derin öğrenme yazılım kütüphaneleri ile 3B nokta bulutundan derin öğrenme çalışmalarında geliştirilen yazılımlardan oluşan bir dizi teknolojiyi uyumlu biçimde bir araya getirme becerisine sahip olunması gerektiği görülmüştür.

Abstract:
3D city models play an integral role for enabling data driven decision making processes in spatial planning field by providing an infrastructure for urban monitoring and simulation applications such as 3D change detection, utility planning, crisis and emergency management, estimation of solar irradiation, energy demand estimation. Generation of such models require large scale, accurate and up-to-date 3D data at different levels of detail. Advancements on acquisition techniques like laser scanning, imaging, earth observation and data processing fields of photogrammetry and computer vision facilitated collection of large amounts of accurate 3D data rapidly in the form of point clouds by direct acquisition as well as generation from other resources like stereo images and alike. Today 3D points clouds, while enhancing their well-known use cases of surveying and planning, are enabling, enabling and accelerating more value added high tech sectors like autonomous mobility, robotics, 3D modeling and digital twin building. This kind of large scale and high resolution data arise challenges for both manual and automated analysis using classical approaches. On the other hand advent of deep learning introduced a paradigm shift in terms of handling and using of large scale data by utilizing them with increased computing power of modern hardware to train deep neural networks for obtaining much more potent descriptors than prior handcrafted counterparts for classifying, detecting and segmenting inputs to automate data analysis pipelines. In this study, a historical review of recently developing field of deep learning for 3D point cloud analysis has been presented, evaluation metrics, popular open datasets, available open source deep learning libraries for processing 3D point clouds and benchmarks have been introduced. Modern cloud computing capabilities that can be utilized for training 3D point cloud deep learning models have been inspected. Requirements for establishing a healthy training process have been detected and possible solutions have been suggested. Practical application of training a state-of-the art solution concerning 3D semantic segmentation have been conducted by utilizing cloud development environment that have been architectured. Conducted literature review and executed deep learning training process showed that although there exists deep learning solutions that may accomodate for 3D spatial information requirements for 3D city modeling and other application areas, even in real time. Utilizing from those came out to be heavily dependent upon being able to access high performance computing hardware and ability to formulate a solution regarding integration of different software and tech stacks concerning open source deep learning frameworks and specialized software components.