Derin öğrenme tabanlı yöntemler ile GPR görüntülerinde obje tespiti
Object detection in GPR images with deep learning based methods
Yazar: ORHAN APAYDIN
Danışman: DOÇ. DR. TURGAY İŞSEVEN
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Jeofizik Mühendisliği Ana Bilim Dalı / Jeofizik Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Jeofizik Mühendisliği = Geophysics Engineering

Özet:
Yer radarı (GPR) yakın yüzey yer altı araştırmaları için sıklıkla kullanılan bir 
elektromanyetik (EM) yöntemdir. GPR yöntemi üretilen bir EM dalganın yer içerisine 
nüfuz etmesi ve yer içerisindeki farklı EM empedansa sahip yapılar ya da 
süreksizliklerden yansıyan, kırılan ve direk gelen dalgalar alıcı anten tarafından 
elektrik akımlarına dönüştürülerek kayıt edilmesi esasına dayanır. Bir hat boyunca 
gerçekleştirilen GPR ölçümleri neticesinde B-tarama veya radargram olarak 
adlandırılan GPR görüntüsü elde edilir. İlk GPR araştırmaları buzul kalınlıklarının 
tespiti amacıyla yapılmış olmasına rağmen günümüzde özellikle gömülü boru vb. 
modern alt yapı elemanları arkeolojik kalıntılar, ağaç kök dağılımları, mayın tespiti, 
tünel, havaalanı, tren rayları vb. ulaşım altyapı araştırmaları, obrukların tespiti, ağaç 
gövdelerinin içerisindeki boşlukların tespiti gibi alanlarda tahribatsız bir yöntem 
olması dolayısı ile sıklıkla kullanılmaktadır. Yer içerisine gömülü objeler B-tarama 
görüntülerinde hiperbolik şekilli anomaliler olarak görünmektedir. Hiperbollerin 
geometrik özellikleri, objelerin yer yüzünden olan derinliğine, ortamın ve objenin 
dielektrik sabiti ve elektrik iletkenliğine, boyut ve şekillerine bağlıdır. Özellikle
gömülü objelerin geometrik şekilleri ve fiziksel özellikleri, farklı yapıda hiperbolik 
anomalilerin oluşmasına neden olur. Araştırmaların amacına göre verilerin 
yorumlanmasında bu hiperbolik şekilli anomalilerin tespit edilmesi ve geometrik 
şekillerine göre sınıflandırılması önem arz eder.
Görüntülerdeki objelerin tespiti ve sınıflandırılması derin öğrenme (DÖ) tabanlı 
yöntemler ile gerçekleştirilebilmektedir. DÖ yapay zekâ alanında en popüler 
yöntemlerden biri olup bilgisayar teknolojilerinin gelişmesi ile uygulama imkân ve 
kapsamları ilerlemiştir. Resimler üzerinde gerçekleştirilmek istenen obje tespit ve 
sınıflandırma uygulamalarında evrişimsel sinir ağları (ESA) metodu DÖ modellerinin 
içerisinde bulunur ve resimlere ait özellik çıkarımları yapılması sağlanır. Bu fikir ve 
yapılan araştırma ve geliştirmeler sayesinde ESA içeren DÖ yöntemleri türetilmeye 
başlanmıştır. En popüler DÖ tabanlı obje tespit ve sınıflandırma uygulamaları Faster 
R-CNN ve YOLO'dur. Bu iki metot kendisine askeri, tıp, havacılık ve uzay, jeofizik, 
uzaktan algılama, otonom araç teknolojisi gibi birçok disiplinde uygulama alanı 
bulmuştur. GPR görüntülerinde obje tespiti uygulamaları da bu yöntemler ile 
denenmiştir. Bu tez çalışması kapsamında farklı geometrik şekle sahip objelerin GPR 
görüntülerindeki hiperbolik şekilli anomalilerinin tespiti ve ardından bunların hangi 
geometrik şekle sahip olduğunu gösteren sınıflandırılmasının yapılması için DÖ 
tabanlı Faster R-CNN ve YOLO uygulamaları kullanılmıştır. DÖ yöntemleri ile obje tespit ve sınıflandırma uygulamaları için veri kümesi kritik bir 
öneme sahiptir. Bu tez çalışması kapsamında oluşturulan veri kümesi laboratuvar 
ortamında gerçekleştirilen GPR ölçümlerinden ve gprMax adlı EM dalga simülasyonu 
yapabilen açık kaynaklı program ile laboratuvar ortamında oluşturulan senaryolara 
benzer olarak türetilen modellerin simülasyonu sonucunda elde edilen sentetik 
verilerden oluşur. Laboratuvar ortamındaki ölçümler için vektör ağ analizörü (VAA) 
ve Vivaldi anten çifti kullanılarak bir GPR ölçüm cihazı oluşturulmuştur. VAA cihazı 
ile frekans ortamında sinyal üretip toplanabilmektedir. Tez çalışması kapsamında 
VAA cihazı 600 MHz ile 1200 MHz aralığında bir bant genişliği kullanılarak EM 
dalga üretilmiştir. Ölçüm cihazının hazırlanmasının ardından yapay bir yer altı modeli 
oluşturmak amacı ile ahşap bir masa kullanılmıştır. Burada 140 cm genişlik ve 4 cm 
kalınlığındaki ahşap masanın üst yüzeyi yer yüzü, masanın altında kalan ve 
araştırılacak objelerin konumlandırılacağı alan ise yer içi olarak kurgulanmıştır. 
Tez çalışmasındaki amaçlardan biri farklı geometrik şekilli objelerin GPR 
görüntülerindeki tespiti olduğundan dikdörtgen prizma şekilli, alüminyum folyo kaplı 
kutu ve silindirik şekilli demir çubuk masa altına farklı derinliklerde 
konumlandırılmıştır. Kutu ve demir çubuk çeşitli boyutlarda seçilerek veri kümesi
genişletilmiştir. Laboratuvar ölçümlerinde iki farklı senaryo kurgulanmıştır. 
Bunlardan ilki 28 cm ve 40 cm genişlikte iki farklı dikdörtgen prizma şekilli kutunun 
masa altına farklı derinliklerde konumlandırılması ikincisi ise 2,5 cm ve 5 cm çapa 
sahip iki farklı silindirik şekilli demir çubuğun masa altına farklı derinliklerde 
konumlandırılmasıdır. Ölçümler için tasarlanan GPR cihazı ile masa üzerinde 120 cm 
uzunluğunda hat boyunca 2 cm'de bir radar ölçümleri gerçekleştirilmiş ve B-tarama
görüntüsü elde edilmiştir. İlk ve ikinci senaryolar için toplamda 19 adet GPR verisi 
elde edilmiştir. VAA cihazı üretim amacı nedeni ile verileri frekans ortamındaki kayıt 
etmektedir. Frekans ortamındaki bu veriler ters ayrık Fourier dönüşümü (TAFD) 
kullanılarak 20 nanosaniye uzunluğunda B-tarama görüntüleri elde edilmiştir. 
Veri kümesini oluşturan diğer GPR görüntüleri ise gprMax programı ile oluşturulan 
sentetik verilerdir. Laboratuvar ölçümlerinde kullanılan objeler ve GPR ölçüm cihazı 
aynı EM ortam parametreleri ile birebir gprMax programında modellenmiştir. 
Simülasyonda oluşturulan yapay EM dalganın merkez frekansı 900 MHz olarak 
ayarlanmıştır. Laboratuvar ölçümlerine benzer olarak iki farklı senaryoda objeler 
farklı derinliklere konumlandırılarak 20 nanosaniyelik bir zaman dilimi simüle 
edilmiştir. Simülasyonlar sonucunda birinci senaryo için 50, ikinci senaryo için 50 adet 
olmak üzere toplam 100 adet sentetik GPR görüntüsü oluşturulmuştur. Veri sayısını 
arttırmak amacı ile DÖ yöntemlerinde gerçekleştirilen obje tespiti uygulamalarında 
sıklıkla kullanılan veri çeşitlendirme yöntemleri olan aynalama ve yeniden 
boyutlandırma teknikleri uygulanmıştır. Bu tekniklerin uygulanması sonucunda 
laboratuvar ölçümleri ve simülasyon ile elde edilen 119 adet GPR görüntüsü, toplam 
357 adete çıkarılmıştır. DÖ tabanlı obje tespit uygulamaları görüntüler ve bu 
görüntülerde tespit edilmek istenen objelerin etiketlenmesi ile eğitilir. Elde edilen GPR 
görüntülerinde dikdörtgen prizma şekilli kutulara ait hiperboller "dikdörtgensel", silindirik şekilli objelere ait hiperbol yapılar "silindirik" olarak isimlendirilmiştir. 
Etiketleme işlemi tespit edilmek istenen objenin bir sınırlandırıcı kutu içerisine alınıp 
isimlendirme işlemidir. Etiketleme işleminin ardından veri kümesi artık DÖ tabanlı 
Faster R-CNN ve YOLO ağlarının eğitimi için kullanılabilir hale getirilmiştir.
Faster R-CNN ve YOLO yönteminin bir veri kümesi ile eğitilmesi tespit edilmek 
istenen objelerin makine tarafından öğrenilmesi ve farklı bir veri görselinde bu objenin 
tespit edilebilmesi anlamına gelir. Yöntemler sonucunda yüksek doğruluk oranları ile 
GPR görüntülerinde farklı geometrik şekle sahip objelerden kaynaklı hiperbolik 
anomaliler tespit edilip bu anomalilerin hangi geometrik şekle sahip objelere ait 
olduğu tespit edilmiştir. Elde edilen sonuçlar neticesinde YOLO yöntemi kullanılarak 
bir GPR görüntüsünde obje tespiti ortalama 52.7 milisaniye sürmüş, Faster R-CNN ile 
bu süre 4,2 saniye sürmüştür. Eğitim sonucunda Faster R-CNN yönteminde 
sınıflandırma kaybı = 5,48E-03, konumlandırma kaybı = 3,97E-03, objesizlik kaybı = 
5,11E-05, GOK_0.5 = 1, GOK_0.75 = 1 bulunurken YOLO yönteminde sonuçlar, 
sınıflandırma kaybı = 1,93E-04, konumlandırma kaybı = 1,54E-02, objesizlik kaybı = 
7,24E-03, GOK_0.5 = 0.995, GOK_0.5:0.95 = 0.779 olarak bulunmuştur. Böylece 
YOLO kullanılarak GPR görüntülerinde daha hızlı obje tespiti yapılmıştır. Buna 
karşılık Faster R-CNN, görüntülerdeki objelerin tespitini ve sınıflandırmasını 
YOLO'dan daha doğru değerler ile gerçekleştirmiştir.

Abstract:
Ground Penetrating Radar (GPR) is an electromagnetic (EM) method commonly used 
for near-surface subsurface investigations. The GPR method is based on the 
penetration of an EM wave into the ground and the recording of reflected, refracted, 
and direct waves from structures or discontinuities with different EM impedance 
within the subsurface, which are then converted into electrical currents by the receiver 
antenna. GPR measurements conducted along a profile yield a GPR image known as 
a radargram or a B-scan. While the initial purpose of GPR research was the detection 
of glacier thickness, it is now widely used in various fields such as detecting buried 
pipes, modern infrastructure elements, archaeological remains, tree root distributions, 
landmine detection, tunnel and transportation infrastructure investigations (e.g., 
airports, train tracks), sinkhole detection, and void detection within tree trunks, due to 
its non-destructive nature. Buried objects appear as hyperbolic-shaped anomalies in Bscan images. The geometric properties of these hyperbolas depend on the depth of the 
objects from the surface, the dielectric constant and electrical conductivity of the 
medium and object, as well as the size and shape of the objects. The geometric shapes 
and physical properties of embedded objects, in particular, lead to the formation of 
hyperbolic anomalies with different structures. Depending on the purpose of the 
research, it is important to detect these hyperbolic-shaped anomalies and classify them 
according to their geometric shapes during the interpretation of the data.
Detection and classification of objects in images can be achieved using deep learning 
(DL) based methods. DL is one of the most popular methods in the field of artificial 
intelligence and its application possibilities and scopes have advanced with the 
development of computer technologies. Particularly in the last decade, DL-based 
computer vision data processing algorithms have been widely used and developed due 
to their successful results. In object detection and classification applications on images, 
convolutional neural networks (CNN) is a method that is included in DL models, 
allowing for feature extraction from the images. Thanks to this idea and the research 
and development efforts, DL methods incorporating CNN have been derived. The 
most popular DL-based object detection and classification applications are Faster RCNN and YOLO. These two methods have found application in various disciplines 
such as military, medicine, aviation and space, geophysics, remote sensing, and 
autonomous vehicle technology. Object detection applications in GPR images have 
also been attempted using these methods. In this study, DL-based Faster R-CNN and 
YOLO applications were used for the detection of hyperbolic-shaped anomalies of 
objects with different geometric shapes in GPR images, followed by their classification 
indicating the geometric shape they belong to.Data set is critical for object detection 
and classification applications using DL methods. The data set created within the scope of this study consists of synthetic data obtained from GPR measurements performed 
in a laboratory environments and simulations of models derived from scenarios created 
in a laboratory environment using an open-source program called gprMax capable of 
simulating EM waves. For the laboratory measurements, a GPR measurement device 
was constructed using a vector network analyzer (VNA) and a Vivaldi antenna pair. 
The VNA is a device designed to measure and analyze the characteristics of electrical 
signals, such as amplitude and phase, and can be used to examine the performance of 
the antennas' operating frequencies. The VNA device can generate and collect signals 
in the frequency domain. In this thesis study, the VNA device was used to generate 
EM waves with a bandwidth ranging from 600 MHz to 1200 MHz The Vivaldi 
antenna, which is used as the transmitting antenna and enables the emission of the 
generated EM radiation, was connected to one port of the VNA device, while an 
identical second Vivaldi antenna with the same dimensions and characteristics was 
attached as the receiving antenna to the other port. To create a simulated underground 
model, a wooden table with a width of 140 cm and a thickness of 4 cm was used. The 
upper surface of the table represents the ground surface, and the area beneath the table 
where the objects of interest will be positioned is designed as the pseudo-subsurface 
model. One of the objectives of this study is the detection of objects with different 
geometric shapes in GPR images. Therefore, rectangular prism-shaped, aluminum 
foil-covered boxes, and cylindrical iron rods were positioned at different depths under 
the table. The boxes and iron rods were selected in various sizes to expand the data 
set. Two different scenarios were designed for laboratory measurements. The first 
scenario involved positioning two rectangular prism-shaped boxes of different widths 
(28 cm and 40 cm) at various depths under the table. The second scenario involved 
positioning two cylindrical iron rods of different diameters (2.5 cm and 5 cm) at 
various depths under the table. GPR measurements were conducted along a 120 cm 
line on the table using the designed GPR device, and radar measurements were 
obtained at 2 cm intervals, resulting in B-scan images. A total of 19 GPR data were 
obtined for the first and second scenarios. The VNA device records the data in the 
frequency domain due to its intended use. These frequency domain data were 
transformed into B-scan images with a length of 20 nanoseconds using inverse discrete 
Fourier transform (IDFT). The other GPR images that make up the data set are 
synthetic data generated using the gprMax program. 
The objects used in laboratory measurements and the GPR measurement device were 
modeled in the gprMax program with the same EM environment parameters. The 
center frequency of the artificial EM wave generated in the simulation was set to 900 
MHz similar to the laboratory measurements, objects were positioned at different 
depths in two different scenarios, simulating a time duration of 20 nanoseconds. As a 
result of the simulations, a total of 100 synthetic GPR images were generated, 50 for 
the first scenario and 50 for the second scenario. Data augmentation techniques 
commonly used in DL-based object detection applications, such as flipping and 
resizing, were applied to increase the data size. As a result of applying these 
techniques, the number of GPR images obtained from laboratory measurements and 
simulations was increased from 119 to a total of 357. DL-based object detection 
applications are trained on labeled images, where the objects of interest in the images 
are labeled. In the obtained GPR images, the hyperbolas corresponding to rectangular 
prism-shaped boxes were labeled as "rectangular," while the hyperbolic structures 
corresponding to cylindrical objects were labeled as "cylindrical." The labeling 
process involves enclosing the object of interest within a bounding box and assigning 
a label. After the labeling process, the data set was prepared for training DL-based Faster R-CNN and YOLO methods. Training Faster R-CNN and YOLO methods with 
a dataset refers to the machine learning of the desired objects to be detected and the 
ability to detect these objects in a different visual data. As a result of these methods, 
hyperbolic anomalies caused by objects with different geometric shapes in GPR 
images were detected with high accuracy rates, and it was determined which geometric 
shape these anomalies belong to. Based on the obtained results, object detection in a 
GPR image took an average of 52.7 milliseconds using the YOLO method, while it 
took 4.2 seconds using Faster R-CNN. After training, the Faster R-CNN method had 
a classification loss of 5.48E-03, a localization loss of 3.97E-03, an objectness loss of 
5.11E-05, mAP_0.5 = 1, and mAP_0.75 = 1, while the results for the YOLO method 
were a classification loss of 1.93E-04, a localization loss of 1.54E-02, an objectness 
loss of 7.24E-03, mAP_0.5 = 0.995, and mAP_0.5:0.95 = 0.779. Thus, object detection 
in GPR images was performed faster using YOLO. In contrast, Faster R-CNN 
achieved more accurate detection and classification of objects in images compared to 
YOLO.