Multispektral İHA verilerinin obje tabanlı sınıflandırılmasında ndym tabanlı performans artırım yaklaşımları
Ndsm-based potential enhancement approaches in object-based classification of multispectral uav data
Yazar: İLYAS AYDIN
Danışman: PROF. DR. UMUT GÜNEŞ SEFERCİK
Gebze Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Harita Mühendisliği Ana Bilim Dalı / Jeodezi ve Coğrafi Bilgi Teknolojileri Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Jeodezi ve Fotogrametri = Geodesy and Photogrammetry

Özet:
Endüstri 4.0 devrimiyle birlikte, dijitalleşme ivmesi hızla artan dünyada, akıllı teknolojiler gün geçtikçe daha çok önem kazanmakta ve kullanımları giderek yaygınlaşmaktadır. Dijitalleşme temelinde ortaya çıkan gelişim sürecinde, haritacılık veri ve teknolojileri, uygulamaların kalbinde yer alan en önemli araçlardandır. Uydu ve hava kaynaklı haritacılık teknolojileri, yersel teknolojilere kıyasla çok daha geniş alanlarda dijital veriye daha hızlı bir şekilde ulaşımı sağlamakta, üstelik bu verilerin istenen periyotlarda tekrarlı şekilde elde edilmesini olası kılmaktadır. Sensör teknolojilerinin gelişimiyle birlikte, yüksek mekansal çözünürlüklü veriler ulaşılabilir hale gelmiş ve bu kavram önemini kaybederken, zengin bilgi içeriğine sahip görüntülerin yer aldığı sınıflandırma problemlerinin doğruluğu önem kazanmıştır. İHA teknolojisinden sağlanan yüksek çözünürlüklü veriler obje heterojenliklerinin çok daha belirginleşmesinin önünü açmış, segmentasyon ve sınıflandırma işlemlerinde ciddi oranda performans artışını beraberinde getirmiştir. Bu sebeple, son yıllarda sınıflandırma sürecinde performans artırımı hakkındaki çalışmalar yaygınlaşmış, uzay ve hava kaynaklı verilerden türetilen yardımcı veri setlerinin füzyonunu içeren yaklaşımlar ilgi odağı olmuştur. Bu çalışmada, Gebze Teknik Üniversitesi kampüsü sınırları içerisinde çok sayıda arazi örtüsü ve arazi kullanımı (AÖ/AK) sınıfının yer aldığı bir çalışma alanında i) çok-bantlı (multispektral, MS) İHA hava fotoğraflarından yüksek çözünürlüklü ortomozaik elde edilmesi, ii) yardımcı veri setlerinin ve farklı sınıflandırıcıların kullanıldığı durumda AÖ/AK haritaları üretimindeki yaklaşımların etkinliğinin belirlenmesi ve iii) yeryüzü topoğrafyası üzerinde bulunan tekil nesnelerin bağımsız yüksekliklerini 3B olarak tasvir eden normalize dijital yüzey modeli (NDYM)'nin İHA verilerinden üretimi ve yardımcı veri olarak kullanımının obje-tabanlı sınıflandırma doğruluğu üzerindeki etkilerinin araştırılması hedeflenmiştir. Çalışma hedefleri doğrultusunda dört farklı veri seti üretilmiş ve rastgele orman, destek vektör makineleri, aşırı gradyan artırımı makine öğrenme algoritmaları ile sınıflandırılmıştır. Bu veri setlerinin tasarlanmasında spektral bilgi, indis, doku, geometri, NDYM özelliklerinin kombinasyonu ve özyinelemeli özellik seçimi yönteminden faydalanılmıştır. NDYM verisinin yalnızca 5-bantlı (mavi, yeşil, kırmızı, kırmızı kenar, yakın kızılötesi) görüntünün sınıflandırılmasında ek özellik şeklinde kullanımı ve NDYM'nin segmentasyon sürecine bant olarak eklenmesi (6-bantlı) ile hem sınıflandırma hem de segmentasyon aşamaları üzerindeki etkisi ayrı ayrı incelenmiştir. Geniş çaplı doğruluk analizleri neticesinde, NDYM verisinin sınıflandırma ve segmentasyon sürecine dahil edilmesinin, tüm sınıflandırıcılarda performans artışı sağladığı belirlenmiştir. XGBoost algoritmasının ve NDYM'nin dahil olduğu veri setinin kullanımıyla üretilen tematik haritanın %94.65 değeri ile en yüksek genel doğruluk değerini gösterdiği belirlenmiştir. NDYM'nin veri setine dahil edilmesiyle, XGBoost algoritmasının sınıflandırma sonucunda genel doğruluk %4 oranında artarken, sınıf bazlı gerçekleştirilen F1 skor değeri analizlerinde yol ve beton çatı sınıfı özelinde sırasıyla %8 ve %11 oranında dikkate değer bir doğruluk artışı olduğu gözlemlenmiştir. En yüksek doğruluğu gösteren tematik haritanın üretiminde rol alan özellikler, SHAP algoritması ile tekil ve sınıf bazlı olarak değerlendirilmiştir. Tematik harita üretiminde, sınıflar arası ayrımda NDYM kaynağının sağladığı yükseklik bilgisinin en yüksek pozitif yönlü etkiyi oluşturduğu görülürken, normalize edilmiş fark bitki örtüsü indisinin (NDVI) ise en düşük etkiye sahip olduğu tespit edilmiştir.

Abstract:
In the world, where digitalization momentum is rapidly increasing with the Industry 4.0 revolution, smart technologies are becoming more important day by day and their use is becoming increasingly widespread. Definitions such as smart cities, smart agriculture, smart forestry have become encountered in every aspect of daily life. In the process of intelligence that emerges on the basis of digitalization, mapping data and technologies are among the most important tools at the heart of applications. Space-borne and airborne mapping technologies provide much faster access to digital data in much larger areas compared to terrestrial technologies, and make it possible to obtain this data repeatedly in desired periods. The data obtained directly digitally are converted into two- and three-dimensional (2D and 3D) final maps with high geolocation and spectral accuracy after the calibration processes are carried out rapidly. In addition to providing 2D and 3D topographic descriptions, these maps can be used for many thematic purposes on the basis of classifying all natural and man-made objects in target areas according to their characteristics. This theme appears in a wide variety of ways, sometimes such as traffic regulation of a metropole, sometimes monitoring plant species, phenological stages and health, sometimes determining forest stand heights, sometimes detecting, monitoring and managing a disaster. Each thematic map to be produced contains different scales and requirements depending on the nature of the project to be realized. Higher spatial resolutions will be preferred as the detail requirement increases for the objects to be included in the thematic map.

Today, the satellites with the highest spatial resolution are camera-equipped optical systems and provide data with a ground sampling distance of approximately 0.3 m. This spatial resolution is limited, especially in the high-precision identification and classification of small and detail-dense earth objects, and this problem is solved by the use of data obtained from aerial technologies. Traditional airborne technologies, which use sensors placed on platforms such as aircraft and helicopters, provide much higher resolution digital data than satellites. However, the financial costs of these technologies are much higher than satellites. At this point, unmanned aerial vehicle (UAV) technology has emerged as a low-cost alternative solution. In studies that do not require wide coverage, UAV technology allows the repetitive production of large-scale, high-accuracy 2D and 3D maps thanks to the very high spatial resolution, high geolocation accuracy and periodic digital data it provides rapidly from low flight altitudes. High-resolution data provided by UAV technology has paved the way for object heterogeneities to become more evident and has brought about a significant increase in performance in segmentation and classification processes. However, rapidly developing technology and especially the need for quality improvement of smart systems necessitate constantly increasing the accuracy criterion in object classifications. Classification problems, which are frequently encountered especially in complex map bases with rich information content, should be overcome by the production and use of auxiliary data. There are many scientific studies on this subject in the world literature. Among these studies, approaches that involve the fusion of auxiliary data sets derived from space-borne and airborne data are the focus of attention.

In this study, in a study area where many different land classes are located within the Gebze Technical University Campus, i) obtaining high resolution orthomosaic from multi-spectral (MS) UAV aerial photos, ii) on this orthomosaic, including spectral, texture and geometry features, determination of the effectiveness of data sets in the production of land cover and land use (LULC) maps when different classifiers are used, and iii) production of the normalized digital surface model (NDSM), which presents the independent heights of individual objects on the earth's topography in 3D, from UAV data and investigate the effects of using NDSM as the auxiliary data on object-based classification accuracy. Although the number of studies in the world literature on the production of UAV NDSM and its use as auxiliary data in object-based classification is very limited, no study on the subject has been found in our country.

In line with the study objectives, four different data sets were produced and classified with random forest, support vector machines, and extreme gradient boosting machine learning algorithms. The first data set (V1) contains only the spectral and index features, the second data set (V2) contains the texture and geometry features added to these features, the third data set (V3) contains NDSM information in addition to all features, while the fourth data set (V4) contains the recursive feature elimination analysis of the V3 data set. Subject to feature selection, it consists of the features that have the highest effect on model accuracy. By using NDSM data only as an additional feature in the classification of the 5-band (blue, green, red, red edge, near infrared) image and adding NDSM as a band to the segmentation process (6 bands), its effects on both classification and segmentation stages were analyzed separately. As a result of comprehensive accuracy analyses, it was determined that including NDSM data in the classification and segmentation process increased the performance of all classifiers. When evaluated specifically for data sets, the V3 data set, designed by including NDSM data, provided the highest accuracy in all algorithms. The XGBoost algorithm was the highest performing classification algorithm with an overall accuracy value of 94.65%. As a result of classifying the V3 data set with the XGBoost algorithm, while the overall accuracy was increased as 4%, a significant increase as 8% and 11%, respectively was observed in the accuracy of the road and concrete roof classes in class-based F1 Score analyses. In addition, the effects of the features in the V3 data set on the classification result were evaluated individually and on a class basis with the SHAP algorithm. In thematic map production, it was determined that the elevation information provided by the NDSM source has the highest positive effect on class distinction, while the normalized difference vegetation index (NDVI) has the lowest effect.