Derin öğrenme yöntemleri kullanarak 3B geometri işleme ve uygulamaları
3D geometry processing and applications by using deep learning methods
Yazar: KAYA TURGUT
Danışman: DR. ÖĞR. ÜYESİ HELİN DUTAĞACI
Eskişehir Osmangazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı / Kontrol ve Kumanda Sistemleri Bilim Dalı
Derece: Doktora, 2022
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Bölütleme = Segmentation ; Derin öğrenme = Deep learning ; Nokta kümeleri = Point clusters ; Sentetik veriler = Synthetic dataset

Özet:
Nokta bulutu, bilgisayarla görü, robotik, sanal ve artırılmış gerçeklik gibi birçok alanda yaygın olarak kullanılan 3B geometrik veri türüdür. Son yıllarda, doğrudan nokta bulutu kullanılarak tanımlayıcı özelliklerin elde edilmesini sağlayan 3B derin öğrenme yaklaşımları üzerinde çalışmalar hız kazanmıştır. Ancak, bu yaklaşımlar fazla miktarda etiketli veri gerektirdiğinden, genellikle erişime açık veri kümeleri üzerinde geliştirilerek performansları kıyaslanmaktadır. Bu yaklaşımların, yapısal ve geometrik olarak farklı özelliklere sahip veri kümelerine genelleştirilmeleri konusundaki çalışmalar yetersizdir. Bu tez kapsamında, farklı problemler için oluşturulan ve farklı karakteristiklere sahip veri kümelerine ait geometrik özelliklerin daha iyi temsil edilebilmesi için özgün derin öğrenme modülleri ve mimarileri önerilmiştir. İlk olarak, gezgin robot konumlarının oda, koridor ve kapı gibi anlamsal kategorilerine göre sınıflandırılması için 2DLaserNet mimarisi önerilmiştir. Lazer mesafe verilerinden elde edilen 2B nokta kümesindeki ardışık noktalar arasında sıralı ilişkileri dikkate alan 2DLaserNet ile Freiburg veri kümesi üzerinde, özellikle kapı konumunda, önceki çalışmalara göre en iyi tanıma oranı elde edilmiştir. İkinci olarak, bitkilerin toprak üstü kısımlarına ait nicel ölçümlerini ifade eden fenotipleme süreci öncesinde kritik öneme sahip bölütleme işlemi için nokta tabanlı derin öğrenme yaklaşımlarının performansı ilk kez analiz edilmiştir. Etiketli 3B bitki veri kümelerinin yeterli olmaması bu yaklaşımların uyarlanmasını kısıtladığından, mimarilerin uyarlanması ve ön eğitimi için benzetim ortamında 3B sentetik gül fidanı modelleri oluşturulmuştur. Mimarilerin gerçek gül fidanı modelleri üzerindeki performansını değerlendirmek için ROSE-X veri kümesi kullanılmıştır. Yapılan analizler sonrasında bitki modellerinin yapısal özelliklerini açığa çıkarmak için özdikkat mekanizmasıyla donatılmış RoseSegNet mimarisi önerilerek, ROSE-X veri kümesi üzerinde başarılı sonuçlar elde edilmiştir. Nokta tabanlı derin öğrenme yaklaşımlarında, sezgisel ve deneysel olarak belirlenen parametreler ile oluşturulan yerel bölgeler üzerinden yerel özellikler çıkarıldığından performans doğrudan bu parametrelere bağlı olmakta ve oluşturulan yerel bölgeler verinin geometrik yapısını tam olarak yansıtmamaktadır. Bu amaçla gerçekleştirilen üçüncü çalışmada, yerel bölgeleri uyarlamalı olarak oluşturmak için merkez kaydırma ve yarıçap güncelleme modülleri tanıtılmış ve ModelNet40 veri kümesi üzerinde sınıflandırma problemi için en bilinen derin öğrenme mimarisi PointNet++ ile entegre edilmiştir. Kategorilere özgü geometrik yapıları uyarlamalı olarak gruplayarak sınıflandırma performansının artırıldığı gösterilmiştir.

Abstract:
Point cloud is a 3D geometric data type used in many fields such as computer vision, robotics, virtual and augmented reality. During recent years, many 3D deep learning approaches have been introduced to extract features directly from raw point clouds. However, since the learning stage of these architectures requires large amounts of labeled data, they are often developed on a few publicly available data sets.  It has been observed that the generalization of these approaches to data sets with structurally and geometrically different properties is not sufficiently studied. Within the scope of the thesis, novel point-based deep learning modules and architectures have been developed for a better representation of geometric features of data sets with different characteristics. Firstly, we addressed the semantic classification problem of mobile robot locations into room, corridor, and doorway and proposed a novel point-based deep learning architecture, namely 2DLaserNet. The architecture exploits the ordered structure of the points in the 2D point set converted from laser data. It yielded the state-of-the-art recognition rate on the Freiburg data set and a higher recognition rate on doorway compared to previous studies. Secondly, the potential of point-based deep learning approaches for critical segmentation process was discovered for the first time before phenotyping, which is the quantitative measurements of the observable organs of plants. Since the scarcity of labeled 3D plant data sets limits the adaptation of these approaches, 3D synthetic rosebushes were created in a simulation environment for the adaptation and pre-training of these architectures. The ROSE-X data set was used to evaluate their performance on real rosebush models. Then, by proposing a novel RoseSegNet architecture equipped with self-attention mechanisms to expose the structural features, better segmentation results were obtained on ROSE-X data set. In the previous point-based deep learning approaches, local features are extracted over grouped points with the parameters determined intuitively and experimentally, thus, the performance directly depends on these parameters and the local regions do not fully reflect the surface geometry. For this purpose, thirdly, the center shift and radius update modules were introduced to adaptively constitute local regions and integrated into the well-known architecture PointNet++ for the classification problem on ModelNet40 data set. It has been shown that these modules improved accuracy by attempting to group distinctive geometric structures adaptively.