Mobil haritalama yönteminin yapay zeka teknolojileri ile birlikte ulaşım envanter ve varlık yönetim sistemlerinde kullanılabilirliği ve doğruluk analizi
Usability and accuracy analysis of mobile mapping method in transportation inventory and asset management systems with artificial intelligence technologies
Yazar: HÜSEYİN KURŞUN
Danışman: PROF. DR. REHA METİN ALKAN
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Geomatik Mühendisliği Ana Bilim Dalı / Geomatik Mühendisliği Bilim Dalı
Derece: Doktora, 2024
Konu: Jeodezi ve Fotogrametri = Geodesy and Photogrammetry

Özet:
Trafik işaret ve levhaları sürüş güvenliğini ve sürüş konforunu tehlikeye atmadan, taşıt hızlarını, hız sınırlamasını ve yol güvenliğini sağlamaktadır. Eğer sürücüler trafik işaret ve levhalarına dikkat etmeden süratlerini ve dikkatlerini belirlenmiş olan hız limitleri ile uyumlu olarak sürdürmezlerse, sürüş güvenliği ve sürücü tarafından algılanan sürüş konfor düzeyi kesinlikle düşecektir. Trafik işaret ve levhaları sürücünün hızlanma hevesi üzerinde caydırıcı bir role de sahiptir. Karayolları yol güvenliği açısından bu envanterlerin bir varlık yönetim sistemi içerisinde değerlendirilerek yönetilmesi gerekmektedir. Aksi takdirde yol envanter eksiklikleri birçok hatalara, kazalara ve diğer başka olumsuzluklara yol açabilecektir.
Karayolları trafik işaret ve levhalarının klasik yöntemlerle sahadan ölçülerek üretilmesi, bilgisayar ortamına aktarılması ve yönetilmesi oldukça zaman alıcı, yüksek maliyetli olmakla beraber, veri üretimi hem zor hem de işçi sağlığı ve iş güvenliği bakımından da birçok riskleri bulundurmaktadır. Son yıllarda hızlı veri toplama teknolojilerindeki gelişmeler, farklı ve yeni araştırma konu ve uygulamalarının ortaya çıkmasına neden olmuştur. Temelde üç boyutlu (3B) altlıkların hazırlanmasında ve özellikle yol envanterinin çıkarılması, ileriye dönük olarak envanter bilgilerinde revizyon yapılması ve yapılacaksa bunların çok hızlı bir şekilde araziye gitmeksizin üç boyutlu modellerle planlanması, çeşitli simülasyonlarla yeni senaryolar için ve otonom sürüş teknolojileri için kullanılan High Definition (HD) Map üretimi başta olmak üzere çok farklı amaçlar için sahadan hızlı veri toplama imkanı sunan Mobil Haritalama Sistem (MHS) teknolojileri bu kapsamda çok önemli bir çözüm aracı olarak öne çıkmaktadır. Tüm dünyada çok geniş kullanım alanı bulan MHS'leri yol envanter üretiminde önemli roller üstlenmeye başlamıştır. 
Bu çalışmanın temel amacı; MHS'nin yol envanteri üretiminde kullanılabilirliği ile sistemin doğruluk analizinin yapılması ve yapay zekâ teknolojileri uygulanarak MHS verilerinden karayolu envanter üretiminin yapılabilirliğinin araştırılmasıdır. Bu amaçla Mobil Haritalama Sistemi (MHS) ile sahada yapılan gerçek uygulamalardan elde edilen verilerden yararlanarak bir karayolu güzergâhındaki mevcut seçilen belirli bir yol envanterinin çıkartılması için yapay zekâ teknolojisinin kullanılabilirliği araştırılmıştır. Yol envanteri belirlemek için yapılan uygulama kapsamında bölünmüş devlet yolu olan Karayolları Genel Müdürlüğü İstanbul 1. Bölge Müdürlüğünün Mimar Sinan Bölge şefliği sınırlarındaki D-100 karayolunda Kontrol Kesim Numarası (KKN) 100-04 olan ve Büyükçekmece Gölü-Silivri Merkez arasındaki karayolu güzergâhında gidiş-geliş olarak toplam 40 km'lik bir kısım seçilmiştir. Yapılan ölçüm çalışmaları esnasında MHS aracı, trafiğin akış hızına bağlı olarak yaklaşık 70 ile 90 km/sa arasında. Yapay zekâ ile belirlenmek istenilen 23 farklı trafik levhası KGM Trafik İşaretleri El Kitabından seçimi yapılmış ve bu trafik tabelaları uygulamada dikkate alınmıştır. Çalışmada trafik levhalarının üçgen, kare, dikdörtgen, sekizgen, içerisinde yazı olan ve küçük farklı renklerde seçilerek, işaretlerin renk farklılıkları da dikkate alınmaya çalışılmıştır. MHS ile sahadan 5 m aralıklarla 30 megapiksel panoramik fotoğraflar çekilmiş ve saniyede 600.000 nokta ölçmesi yapılarak LiDAR cihazı ile ölçümler tamamlanmıştır. Geo-koordinatlandırılması tamamlanan panoramik fotoğraflar ve LiDAR verileri yapay zekâ algoritmalarının doğruluk ve hız parametreleri açısından doğruluk kriteri dikkate alınarak Faster-RCNN model seçilerek tarafımızca geliştirilmiş ve algoritma eğitimleri yapılarak trafik levha çıkartma işlemleri gerçekleştirilmiştir. Çalışmada elde edilen panoramik fotoğrafların yapay zekâ eğitimleri 3 aşamada yapılmıştır. Her bir veri seti ile yapılan yapay zekâ eğitimden sonra seçilen karayolu güzergâhındaki 23 farklı trafik levhası yeniden çıkartılmıştır. Toplamda 18.000 fotoğraf ile eğitimler tamamlanmış ve seçilmiş olan trafik levhalarının %80 oranındaki doğrulukla çıkartılabildiği görülmüştür.
MHS ile elde edilen yol envanterinin nokta konum doğruluğunu belirlemek ve MHS'nin farklı alanlarda kullanılabilirliği için bir performans analizi yapılmıştır. Bu kapsamda İTÜ Ayazağa Kampüsünde seçilen 250 metrelik güzergâh boyunca bir dizi ölçme gerçekleştirilmiştir. MHS ölçmelerinin nokta konum hassasiyeti ölçmeleri için ölçme güzergâh alanı boyunca kaldırımlarda, bina köşesi ve detaylarında, yönlendirme levhalarında, aydınlatma direklerinde, korkuluklar vb. 40 noktada detay noktaları tesis edilmiştir. Bu güzegahta MHS aracı ile iki farklı günde sabah, öğle ve ikindi olmak üzere farklı saatlerde, 20 ve 40 km/sa hızlarla ve 3, 5, 10 m aralıklarla panoramik fotoğraflar çekilmiştir. İki farklı günde çalışma yapılmış olup 1. Günde saat 14:00'da ve 16:50'de; 2. Günde ise 9:30, 12:30 ve 16:50'de olmak üzere 2 günde 5 farklı zaman aralığında sahadan farklı parametrelerle 25 farklı ölçme kaydı gerçekleştirilmiştir. 
MHS'nin iç doğruluğunun analizini yapmak için katı model objelerin yoğunlukta olduğu Başakşehir Sular Vadisi'de 800 m'lik bir güzergâh uygulama alanı olarak seçilmiştir. Elde edilen veriler geo-koordinatlandırıldıktan sonra mobil haritalama yazılımına aktarılmış ve yazılım içerisinde belirlenen katı model kenar ölçümleri yazılım içerisinde fotogrametrik yöntemle yapılmıştır. Seçilen objelerin kenar uzunluk ölçmeleri çelik metre ve endüstriyel tipli kumpas ile yapılarak karşılaştırılmış ve buradan hareketle ölçme doğrulukları belirlenmiştir.
İç doğruluk için yapılan çalışmalar neticesinde kamera mesafesi 20 m'ye kadar olan alan içerisinde 0.5-0.7 cm hassasiyetinde doğruluklara erişilmiş olup özellikle geometrik şekillerin ölçüm sonuçlarına göre oldukça yüksek doğruluklara ulaşılmıştır. 20-30 m mesafelerdeki alanlarda ise 1.25 cm hassasiyetinde doğruluklara erişilmiştir. Elde edilen doğruluklara göre tekniğin yüksek doğruluk gerektiren pek çok uygulamada başarıyla uygulanabileceğini göstermiştir.
Nokta konum doğruluğu için yapılan çalışmalar neticesinde MHS ile fotoğraf çekme aralığının 3 m, 5 m ve 10 m olmasının ölçme farklılaşmasına neden olmadığı görülmüştür. Özellikle 3 m ve 5m fotoğraf aralıklı ölçmeler birbirine yakın doğruluklarda çıkmıştır. Günün farklı zamanlarda olmasında (sabah, öğle, akşam) sonuçları etkilememiş ve değiştirmemiştir. Genel olarak konum doğrulukları 2 dm'nin altında seyretmiştir.
Çalışmada giriş bölümünü takiben, konu ile ilişkili kapsamlı bir literatür çalışması yer almaktadır. İkinci bölümde Mobil Haritalama Sistemleri ve uygulama alanları hakkında geniş kapsamlı literatür çalışması ile beraber avantaj ve dezavantajları anlatılmıştır. Üçüncü bölümde ise yapay zekâ teknolojileri kullanılarak MHS ölçümlerinden trafik levha üretimi uygulaması yapılmıştır. MHS'nin nokta konum doğruluğunu belirlemek ve MHS'nin farklı alanlarda kullanılabilirliği için bir performans analizi yapılmıştır. Dördüncü ve son bölümde ise, sonuçlar ve öneriler yer almaktadır. Bu bölümde çalışmanın sonuçları ile ilgili bilgiler verilmiş ve gelecekte konuyla ilgili yapılacak benzer çalışmalar için önerilerde bulunulmuştur.

Abstract:
Traffic signs and signals ensure driving safety and comfort by regulating vehicle speeds, speed limits, and road safety without jeopardizing driving security and comfort. If drivers do not adhere to traffic signs and signals, maintaining their speed and attention in line with established speed limits, both driving safety and the perceived level of driving comfort will undoubtedly decrease. Traffic signs and signals also play a deterrent role against the drivers' tendency to speed. It is essential for road safety that these inventories are evaluated and managed within an asset management system. Otherwise, deficiencies in road inventory can lead to numerous errors, accidents, and other adverse consequences.
The traditional methods of producing, digitizing, and managing road traffic signs and signals through field measurements are not only time-consuming and costly but also challenging in terms of data production and pose various risks to worker health and safety. In recent years, advancements in rapid data collection technologies have led to the emergence of different and new research topics and applications. Mobile Mapping Systems (MMS), which offer rapid data collection capabilities from the field, have become a crucial solution in this context. These systems are particularly important for creating three-dimensional (3D) basemaps, extracting road inventory, updating inventory information for future purposes, and planning these updates quickly without field visits using 3D models. Additionally, MMS technologies are extensively used for various purposes, including the production of High Definition (HD) Maps for new scenarios and autonomous driving technologies through various simulations. MMS technologies have started to play significant roles in road inventory production worldwide. The primary aim of this study is to assess the usability of Mobile Mapping Systems (MMS) for road inventory production, analyze the accuracy of the system, and investigate the feasibility of using artificial intelligence technologies to produce road inventory from MMS data. To this end, the applicability of artificial intelligence technology was investigated using data obtained from real-world applications conducted with the MMS in the field to extract a specific road inventory on a selected highway route.
The application to determine the road inventory was carried out on a divided state highway, specifically on a 40 km section of the D-100 highway between Büyükçekmece Lake and Silivri Center, designated as Control Section Number (CSN) 100-04, within the boundaries of the Mimar Sinan Regional Office of the 1st Regional Directorate of the General Directorate of Highways (GDH) in Istanbul. During the measurement studies, the MMS vehicle operated at speeds ranging from approximately 70 to 90 km/h depending on traffic flow speed. Twenty-three different traffic signs, intended to be identified using artificial intelligence, were selected from the KGM Traffic Signs Manual, and these signs were taken into consideration in the application.
The study focused on selecting traffic signs with different shapes (triangle, square, rectangle, octagon), text, and small color differences, considering their color variations. Panoramic photographs were taken at 5-meter intervals using a 30-megapixel camera, and measurements were completed with a LiDAR device, capturing 600,000 points per second. Georeferenced panoramic photos and LiDAR data were processed using artificial intelligence algorithms, with a focus on accuracy criteria concerning the parameters of accuracy and speed. The Faster-RCNN model was selected and developed for this purpose, and algorithm training was conducted to extract the traffic signs. The artificial intelligence training of the panoramic photographs obtained in the study was performed in three stages. After each training session with each dataset, the 23 different traffic signs on the selected highway route were re-extracted. Training was completed using a total of 18,000 photographs, and it was observed that the selected traffic signs could be extracted with an accuracy of 80%.
A performance analysis was conducted to determine the point position accuracy of the road inventory obtained with Mobile Mapping Systems (MMS) and to assess the usability of MMS in different areas. In this context, a series of measurements were conducted along a 250-meter route selected at ITU Ayazağa Campus. For the point position accuracy measurements of MMS, 40 detail points were established along the route, including sidewalks, building corners, detail points, directional signs, lighting poles, railings, etc. Panoramic photographs were taken with the MMS vehicle at speeds of 20 and 40 km/h and at intervals of 3, 5, and 10 meters at different times of the day—morning, noon, and afternoon two different days. The measurements were carried out at 14:00 and 16:50 on the first day and at 9:30, 12:30, and 16:50 on the second day, resulting in a total of 25 different measurement recordings across 5 different time intervals over two days.
To analyze the internal accuracy of MMS, an 800-meter route in Başakşehir Sular Vadisi, an area dense with solid model objects, was selected as the application area. After geo-referencing the obtained data, they were transferred to mobile mapping software, and the edge measurements of solid models identified within the software were performed using photogrammetric methods. The edge lengths of selected objects were measured and compared using a steel tape measure and industrial calipers, allowing for the determination of measurement accuracies.
The internal accuracy studies showed that, within an area up to 20 meters from the camera, accuracies of 0.5-0.7 cm were achieved, particularly demonstrating high accuracy for geometric shapes. In areas 20-30 meters away, accuracies of 1.25 cm were obtained. These results indicate that the technique can be successfully applied in many applications requiring high accuracy.
For the point position accuracy studies, it was found that the photo capture intervals of 3 meters, 5 meters, and 10 meters with MMS did not lead to significant measurement differences. Measurements with photo intervals of 3 meters and 5 meters yielded similar accuracies. The different times of the day (morning, noon, evening) did not affect or change the results. Overall, position accuracies remained below 2 decimeters.
Following the introduction, the study includes a comprehensive literature review related to the topic. The second chapter presents an extensive literature review on Mobile Mapping Systems (MMS) and their application areas, along with their advantages and disadvantages. In the third chapter, an application of traffic sign production using MMS measurements with artificial intelligence technologies is described. A performance analysis was conducted to determine the point position accuracy of MMS and to assess its usability in different areas. The fourth and final chapter presents the results and recommendations. This section provides information on the findings of the study and offers suggestions for similar future studies related to the topic.