Yere nüfuz eden radarlarda öğrenme tabanlı yeni kargaşa giderme yöntemleri
New learning-based clutter removal methods in ground penetrating radar
Yazar: EYYUP TEMLİOĞLU
Danışman: PROF. DR. IŞIN ERER
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı / Telekomünikasyon Mühendisliği Bilim Dalı
Derece: Doktora, 2023
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Yere Nüfuz Eden Radar (YNR, Ground Penetrating Radar (GPR)) en popüler yer altı algılama cihazlarından biridir ve geniş bir uygulama alanına sahiptir. YNR sistemi çok çeşitli jeofizik ve mühendislik uygulamaları için yaygın olarak tercih edilir. Arkeolojik araştırmalar, tünel araştırmaları, şehir alt yapılarının araştırılması, maden araştırmaları, yer altındaki kablo ve boruların tespit edilmesi, asfalt kontrol çalışmaları YNR sisteminin sivil uygulama alanlarından bazılarıdır. YNR sistemi aynı zamanda askeri alanda özellikle plastik içerikli mayınların tespit edilmesinde kullanılmaktadır. YNR sisteminin donanım ve yazılım gereksinimleri uygulama alanına göre değişmektedir. YNR sistemi genel olarak alıcı-verici antenler, kontrol ünitesi ve görüntüleme ekranından oluşmaktadır. Kontrol ünitesinde istenilen özelliklerde darbe üretilir ve verici anten vasıtasıyla bu işaret yerin altına gönderilir, geri yansıyan işaretler alıcı anten ile toplanır ve işlenmesi için kontol ünitesini iletilir. Alınan işaret üzerinde kuvvetlendirme, örnekleme işlemlerinden sonra işaret işleme algoritmalarıyla gürültü giderme, hedef tespiti gibi işlemler yapılır ve son olarak görüntüleme ekranında kullanıcıya algoritma sonucu ve yerin altına ait görüntüler gösterilir.

Bu tez çalışması; YNR sisteminin askeri alanda mayınların tespit edilmesi amacıyla kullanımına yönelik bir çalışmadır. Mayınlar ilk defa kullanılmaya başlandığında dış kasası metal olarak üretilmişlerdir. Bu mayınların tespit edilmesinde metal dedektörleri gayet başarılıdır. Bunun üzerine mayınların dış kasasında plastik malzeme kullanılmıştır ve içeriği fünye dışında metallerden arındırılmıştır. Plastik mayınların tespit edilmesinde metal dedektörleri metal içerikli mayınları tespit etmedeki başarısını gösterememiştir. Metal dedektörlerinin plastik içerikli mayınları tespit etmekte zorlanmasından sonra YNR sistemi bu mayınların tespit edilmesinde kullanılmaya başlamıştır. 

YNR sistemi ile plastik mayınların tespit edilmesi bazı koşullarda kolay olsa da toprak yapısı, toprağın elektromanyetik özellikleri ve daha bir çok etkenden dolayı bir çok durumda bu mayınların tespit edilmesi zordur. YNR sistemi ile plastik mayınların tespitini zorlaştıran bozucu etkiler kargaşa olarak adlandırılmaktadır. Özellikle küçük boyutlu plastik mayınlar yeryüzüne yakın gömüldüğünde kargaşa bu mayınların görüntülenmesini ve tespit edilmesini zorlaştırmaktadır. Kargaşa genel olarak yeryüzünden geri yansıyan işaret, alıcı-verici antenler arası kuplaj ve toprak içerisinde bulunan ağaç kökleri, ufak taşlar ve toprak içerisindeki düzensizlikler gibi istenmeyen cisimlerden yansıyan işaretlerden oluşmaktadır. Kargaşa yeryüzüne yakın gömülen plastik cisimlerden alınacak yansımayı bastırarak hedefin tespit edilememesine sebep olmasının yanında hedef olmayan bölgelerde de hedef varmış algısı oluşturarak yanlış tespitlere de sebep olmaktadır. Yanlış tespitlerin önüne geçmek ve yeryüzüne yakın gömülen küçük plastik mayınların tespit edilmesini kolaylaştırmak için kargaşa giderme yöntemleri önemli bir yere sahiptir.

Literatürde YNR verilerinde kargaşa gidermek için yıllar içinde farklı yaklaşımlar önerilmiştir. En ilkel yaklaşım, hedef olmayan bölgedeki verilerin ortalamasını alarak diğer tüm verilerden çıkararak kargaşa giderme yapan Ortalama Çıkarma (OÇ) yöntemidir. Bu yaklaşım hedefin olmadığı bölge bilgisi gerektirir ve yöntem yeryüzünün düz olduğunu kabul ettiği için yöntemin başarısı yeryüzünün engebesiz olmasına ve anten ile toprak arasındaki mesafenin değişmemesine bağlıdır. Bu yaklaşımın adaptif versiyonları da mevcuttur ancak adaptif yaklaşımlar da hedef imzasını bozmaktadır ve seçilen pencere boyu parametresi yöntemin başarımında önemli rol oynamaktadır. 

YNR verilerinde kargaşa gidermek için kullanılan bir başka yaklaşım ise veriyi alt uzaylara ayıran istatistiksel yöntemlerin kullanılmasıdır. Bu yaklaşımda YNR verisi hedef, kargaşa ve gürültü olarak alt bileşenlere ayrılmaktadır. Bu yaklaşım içerisinde Temel Bileşen Analizi (TBA, Principal Component Analysis (PCA)), Tekil Değer Ayrışımı (TDA, Singular Value Decomposition (SVD)) ve Bağımsız Bileşen Analizi (BBA, Independent Component Analysis (ICA)) yöntemleri yer almaktadır ve literatürde yaygın olarak YNR görüntülerinde kargaşa gidermek için kullanılmaktadır. Bu yöntemlerde genellikle en yüksek yansımanın yerden geldiği kabul edilerek kargaşanın en yüksek bilgiye sahip ilk uzayda olduğu, hedefin ise en yüksek ikinci bilgiye sahip ikinci uzayda olduğu ve gürültünün diğer alt uzaylarda olduğu varsayılmaktadır. Ancak YNR verisinde yer alan hedef sayısına göre hedef bilgisi sadece ikinci en yüksek bilgiye sahip uzayla kalmayıp diğer uzaylara da yayılmaktadır. Bu yaklaşım içerisinde veriyi 2 negatif olmayan matrise ayrıştıran Negatif Olmayan Matris Ayrışımı (NMA, Non-negative Matrix Factorization (NMF)) yöntemi de yer almaktadır. YNR verilerinde düşük dereceli bileşen kargaşa olarak kabul edilerek kargaşa gidermek için NMA yöntemi kullanılmaktadır.   Bu yöntemler ile geçmişte başarılı sonuçlar elde edilse de zorlu senaryolarda bu yöntemlerin başarımı düşmektedir.

Düşük Dereceli ve Seyrek Ayrıştırma (DDSA, Low-Rank and Sparse Decomposition (LRSD)) yöntemleri son yıllarda görüntü işleme alanında yaygın olarak bir çok probleme uygulanmıştır. Bu yaklaşım içerisinde yer alan Gürbüz Temel Bileşen Analizi (GTBA, Robust PCA) ve Gürbüz Negatif Olmayan Matris Ayrışımı (GNMA, Robust NMF) yöntemleri de YNR verilerinde kargaşa gidermek için kullanılmaktadır. Bu yöntemler veriyi eş zamanlı olarak düşük dereceli ve seyrek olarak ayrıştırmaktadırlar. YNR verilerinde düşük dereceli bileşen kargaşa bileşeni, seyrek bileşen ise hedef bileşeni olarak kabul edilmektedir. 

Görüntüyü sahip olduğu sözlükler ile farklı bileşenlere ayıran Morfolojik Bileşen Analizi (MBA, Morphological Component Analysis) yöntemi de YNR verilerinde kargaşa gidermek için kullanılan yaklaşımlardandır. MBA yöntemi seyrek işaret işleme alanında kullanılan ve bir çok probleme uygulanan bir yöntemdir. Daha önce Analitik Sözlükler (AS) kullanan MBA yöntemi (MBA-AS) ile YNR verilerinde kargaşa giderilerek başarılı sonuçlar elde edilmiştir. Ancak MBA yönteminin işlem yükü biraz fazladır. Bu tez kapsamında, MBA yöntemini hem hızlandırmak hem de daha iyi sonuçlar elde etmek için Öğrenilmiş Sözlükler (ÖS) ile çalışan MBA yöntemi (MBA-ÖS) önerilmiştir. MBA-ÖS yöntemi, MBA-AS yöntemine göre 6.8 kat daha hızlı çalışmaktadır ve MBA-AS yöntemine göre yanlış alarm oranı 42 kat daha düşüktür. MBA-ÖS yönteminde kullanılan sözlükler birbirinden bağımsız olarak kargaşa ve hedef bileşenlerini ayrı ayrı temsil etmesi için K-SVD algoritması kullanılarak elde edilmişlerdir. MBA-ÖS yöntemi, YNR verisini MBA-AS yönteminde olduğu gibi bir bütün halinde ayrıştırmak yerine YNR verisinden yama olarak adlandırılan küçük görüntü parçaları ile ayrıştırma işlemini gerçekleştirmektedir. Daha sonra ayrıştırılan yamalar ayrı ayrı birleştirilerek kargaşa ve hedef verisini oluşturmaktadır.

Bu tez çalışmasında aynı zamanda öğrenme tabanlı bir kargaşa giderme yöntemi önerilmiştir. Evrişimsel Otokodlayıcılar (EOK, Convolutional Autoencoder (CAE)) yöntemi YNR verilerinde kargaşa gidermek için kullanılmıştır. EOK yöntemi öğrenme tabanlı bir yöntemdir ve öğrenmenin gerçekleşebilmesi için EOK yönteminin eğitim veri seti ile eğitilmesi gerekmektedir. Bu yöntem geniş veri setine ve bu veri seti içerisinde yer alan referans verilere ihtiyaç duymaktadır. Referans veriler elde edebilmek için gprMax benzetim programı ile YNR verileri üretilmiştir. Bu benzetim programı sayesinde referans veri de üretmek mümkündür. Ancak bu program ile YNR verileri üretmek hem zahmetli hem de zaman almaktadır. Küçük bir veri seti bile hazırlamak aylar sürmektedir. EOK yönteminin ihtiyaç duyduğu geniş veri setini elde edebilmek için YNR verilerine uygun veri çoğaltma tekniklerinden yararlanılarak veri seti genişletilmiştir. Önerilen EOK yöntemi toprak tipine, hedef gömülme derinliğine, farklı senaryolara göre test edilmiştir ve hem literatürde yer alan klasik yöntemlerle hem de son yıllarda önerilen yöntemlerle karşılaştırılmıştır. Önerilen EOK yönteminin tüm yöntemlere üstünlük sağladığı görülmüştür.

Abstract:
Ground Penetrating Radar (GPR) is one of the most popular subsurface sensing devices and has a wide range of applications. The GPR system is commonly preferred for a wide variety of geophysics and engineering applications. Archaeological surveys, tunnel surveys, city infrastructure research, mining surveys, detection of underground cables and pipes, asphalt control surveys are some of the civil application areas of the GPR system. The GPR system is also used in the military, especially for the detection of non-metallic landmines. Therefore, the hardware and software requirements of the GPR system are strongly dependent on type of applications. Generally, a receiving antenna, a transmitting antenna, a control unit and a display screen are the basic components of the GPR system. A pulse with the desired characteristics is generated in the control unit and this signal is sent underground through the transmitting antenna, the reflected signals are collected by the receiving antenna and transmitted to the control unit for processing. After the amplification and sampling processes on the received signal, operations such as noise removal and target detection are performed with signal processing algorithms. Finally, the result of the algorithm and images of the underground are shown to the user on the display screen.

This thesis is a study for the use of the GPR system for the detection of landmines in the military field. Landmines are a serious problem affecting civilians and soldiers. Therefore, it is very important to detect and remove of them. Landmines are divided into 2 categories as anti-personnel and anti-tank. The anti-personnel landmines are designed to harm people, while the anti-tank landmines are designed to harm armored vehicles. Therefore, the anti-tank landmines are large in size to contain high explosives and are easy to detect. However, the anti-personnel landmines are difficult to detect because of their small size. When landmines were first produced, their outer casings were metal and these landmines are easily detected by metal detectors. As landmines with metal outer casings can be easily detected by metal detectors, landmines have been produced with a plastic outer casing. After the production of these landmines, the performance of metal detectors decreased and the GPR began to be used for the detection of landmines with little or no metal content.

Although the GPR system is superior to metal detectors in detecting landmines with little or no metal content, these landmines are not easy to detect using the GPR system. The clutter makes it difficult to detect, especially small-sized and plastic anti-personnel mines buried close to the ground surface. The clutter can be caused by the direct coupling between the transmitting and receiving antennas, the reﬂections from the soil surface, and the scattering response from non-mine objects such as roots, gravel, or nonuniform terrain. When landmines with minimal metal content are buried close to the surface, clutter suppresses the target signal because the amplitude of the signal reflected from the target is weaker than the signal reflected from the ground. In addition, the clutter causes false alarms by creating the perception that there is a target in the relevant area even though there is no buried object in the soil in some cases. Furthermore, the performance of GPR systems is also affected by climatic conditions, temperature, soil structure and environmental factors. Thus, removal of the clutter prior to any imaging or detection application is an active research area for GPR community.

It is not easy to reach the GPR system and the dataset created by collecting data from test pools containing soil with different properties with this system. Therefore, the dataset is created using gprMax open source software that numerically solves Maxwell's equations using a second-order Finite-Difference Time-Domain (FDTD) algorithm. The gprMax has the ability to simulate real commercial antennas. In all simulations, Geophysical Survey Systems, Inc. (GSSI) 1.5 GHz (Model 5100) antenna is used. The generated dataset includes data for seven different soil types, two different targets, six different burial depths and four different scenarios. The created dataset contains a total of 364 data, 28 of which are background data and 336 are target data. While generating background data, no buried object was used in the simulation environment and these data are used to generate reference (ground truth) data. Since there was no target, background data were obtained only for 7 different soil types and 4 different scenarios. In order to create reference data, appropriate background data is extracted from the target data, taking into account the soil type and scenario. The burial depth of cylindrical objects was determined at 1 cm intervals between 0-5 cm from the surface for each scenario and soil type. The burial depths of the objects were specifically chosen close to the surface because landmines are very difficult to detect when buried near to the ground. The radius and the height of the cylinder was determined as 2.8 cm and 4 cm respectively. These dimensions are the same as M14 anti-personnel mines. While creating the dataset, 4 different scenarios were created with the changes made on the soil surface as well as the parameters of different soil type, depth of buried object and type of buried object. Scenario-1 is the easiest of all scenarios where the ground surface was assumed flat. In order to examine the effect of vegetation on the GPR data, 10 000 grass blades were planted on a flat surface in Scenario-2. A rough surface is designed in Scenario-3. This scenario is important for testing the robustness of algorithms because most algorithms assume that the ground surface is flat. In scenario-4, there are water puddles on the rough surface. 

In addition, the well-known real GPR data from Vrije Universiteit Brussel is also used to validate the effectiveness of the proposed method. In this data set, data were taken from the same object in the same environment when the soil was wet and after the soil was dry. The object was buried in the clay before wetting the soil. The buried object is plastic-case anti-personnel landmine PMA-3 whose height is 4 cm and diameter is 11 cm. The burial depth of the PMA-3 is 5 cm.

As visual inspection is not sufficient to compare the performance of the methods, Peak Signal-to-Noise Ratio (PSNR) is utilized for quantitative analysis. A higher PSNR value indicates that the reconstructed image is more similar to the reference image. Since the PSNR could not be calculated for real data due to the lack of background and reference data, the effectiveness of the proposed method on real data is measured by Signal-to-Clutter Ratio (SCR). In order to evaluate SCR, reconstructed B-scan data is normalized and then, Target Energy Function (TEF) is calculated for each antenna position. Down-track position of the target and its near surroundings are called Detection Region (DR), and the remaining areas are defined as False Alarm Region (FR) to distinguish the signals from the target and the clutter. Two different SCR metrics were calculated using TEF values from DR and FR. While the PSNR measures the similarity of the reconstructed image and the reference image, the SCR measures how much the reconstructed image is cleared from the clutter. Additionally, Receiver Operating Characteristic (ROC) curves were calculated to compare the methods with each other. The ROC curves provide information on overall detection performance for all scenarios, all soil types, all burial depths of objects, and all types of objects. Probability of Detection (PD) versus False Alarm Rate (FAR) values at different thresholds are used to calculate the ROC curves. PD is equal to the number of alarms received in the detection region divided by the total number of targets. FAR equals false alarms divided by the maximum possible number of false alarms.

Over the years, different approaches have been proposed to remove the clutter in the GPR data. Besides the conventional mean subtraction method, the conventional clutter removal methods are based on subspace methods such as Singular Value Decomposition (SVD), Principal Component Analysis (PCA) and Independent Component Analysis (ICA) where the GPR matrix is decomposed into components according to different constraints. The clutter, much stronger than the reflections from the target, is represented by the dominant component, while the target is represented by the second component in general. However, the target information for multiple target case can be recovered by several components or the components may not be obtained in a decreasing order as in the case of ICA. For such cases, target distinction may become a challenging problem. The recently proposed Nonnegative Matrix Factorization (NMF) method decomposes the data matrix into the product of two nonnegative matrices, and a low rank value  choice provides a low rank representation of the data matrix, namely the clutter component similar to the subspace based clutter removal methods. 

Low Rank and Sparse Decomposition (LRSD) methods have attracted much interest and found many applications in image processing such as change detection or background subtraction, missing data recovery (completion), anomaly detection, denoising, etc. Their most famous  representative, Robust Principal Component Analysis (RPCA) is used to decompose the GPR matrix into its low rank and sparse components. The clutter component is provided by the low rank component and the target which is sparse with respect to the whole raw image is given by the sparse component of the decomposition. RPCA finds the low rank and sparse components iteratively, thus it requires sequential SVD operations increasing its complexity compared to PCA and  other subspace methods. There have been many attempts to replace successive SVD operations and obtain faster methods required by field studies such as Go Decomposition (GoDec) which finds the low rank component directly using bilateral random projections or recently proposed RNMF incorporating a sparse component into the NMF decomposition.

Another approach is Morphological Component Analysis (MCA) which decomposes the raw GPR data matrix into clutter and target components, providing their sparse representation in a specific domain using transforms or learned dictionaries. Again, the separation performance depends highly on the appropriate dictionaries. The use of fixed dictionaries (transformations) i.e. Undecimated Discrete Wavelet Transform (UDWT) for the target and curvelet for the clutter, outperforms the former methods. However, this method has higher complexity. In this thesis, it is proposed to use learned dictionaries to enhance the performance of the MCA. Patches are extracted from clutter and target regions of several GPR images and then used to learn the corresponding dictionaries using K-SVD algorithm. Unlike the conventional MCA, the raw data is decomposed in a patch-wise way. Each patch extracted from the GPR data is decomposed using Orthogonal Matching Pursuit (OMP), then the obtained target patches are merged to form the target data. Furthermore, the proposed method is 6.8 times faster than conventional MCA method. The false alarm rate of the proposed method is 42 times lower than the conventional MCA method.

In this thesis, Convolutional Autoencoder (CAE), a learning-based method, is also proposed to removal of clutter in the GPR data. Autoencoding is a data compression algorithm which consists of an encoding function, a decoding function and a loss function. Neural networks are mostly used to implement encoding and decoding functions. Loss function quantifies the agreement between the reconstructed and the input data. Autoencoder (AE) is an unsupervised learning technique, and the representation is learned automatically from the data so that the learned representation is data-specific. The CAE is a type of autoencoder that uses convolutional neural network (CNN) in the encoding and decoding stages. Conventional AE takes 2D image as an 1D sequence so that it cannot take advantage of the image structure. Thus, CAE extracts the structural properties of the images more suitably than conventional AE in the processing of the images. To the best of our knowledge, the proposed approach constitutes the first attempt to apply CAE to eliminate the clutter in the 2-D GPR data. The proposed method learns how to eliminate the clutter in the raw GPR images that contain both the clutter and the target components. The model is trained with the simulated dataset and needs reference/ground truth data in the stage of loss calculation. As a result, the algorithm tries to resemble the input raw GPR data to the reference data that includes only the target component. The generated dataset has been augmented to achieve a more robust model, and appropriate  parameter choices have been investigated. The effectiveness of the proposed method has also been demonstrated on the real GPR data. The proposed method outperforms both the traditional and the state-of-the-art methods, especially for more challenging scenarios.