Açık uçlu eşeksenel prob ile dielektrik spektroskopi için makine öğrenmesi temelli kestirim yöntemleri
Machine learning based estimation methods for dielectric spectroscopy with open-ended coaxial probe
Yazar: MUSA ALPEREN YILMAZ
Danışman: PROF. DR. MEHMET ÇAYÖREN
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı / Telekomünikasyon Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Dielektrik spektroskopi, frekansa bağlı olarak bir malzemenin, ortamın veya bir numunenin dielektriksel özelliklerini ölçmek için kullanılan bir tekniktir. Radyo frekans ve mikrodalga alanında dielektrik malzemelerin önemi oldukça büyüktür. Dielektrik malzemeler, özellikle yüksek frekanslı elektronik devrelerde performans, verimlilik ve boyut açısından kritik rol oynarlar. Bu yüzden bu malzemelerin özelliklerine odaklanmak önem taşımaktadır. Dielektrik malzemelerin özelliklerini ölçmek için açık uçlu eşeksenel prob, iletim hattı, serbest alan (free space) ve rezonans boşlukları gibi çeşitli teknikler kullanılmaktadır. Açık uçlu eşeksenel prob, elekronik mühendisliği ve malzeme bilimi alanlarında malzemelerin dielektrik özelliklerini ölçmek için kullanılan bir alettir. Bu alet, aslında açık uçlu bir eşeksenel hattan oluşur. Eşeksenel prob ile ölçüm yapılırken açıkta kalan ucunun incelenen malzeme ile doğrudan temas etmesi gerekmektedir. Ardından probun diğer ucundan elektromanyetik alan uygulanır ve prob ile malzeme arasındaki empedans uyumsuzluğu yansımaya neden olur. Bu yansıma sonucu elde edilen yansıma katsayıları malzemenin özellikleri hakkında değerli bilgiler sağlar. Yansıma katsayıları frekansa bağlı olarak değişmektedir. Malzemenin dielektrik özelliklerini belirlemek için vektör network analizör (VNA) kullanılır. VNA ayrıca yansıma katsayılarının faz ve genlik değerlerini ölçebilir. Ancak, VNA'ler oldukça pahalı cihazlardır. Bu çalışmada, elektromanyetik simülatör kullanılarak elde edilen veri setindeki yansıma katsayılarının sanal ve gerçek değerlerinden genlik değerlerine geçiş yapılmıştır. Bunun sebebi, pahalı cihaz olan VNA kullanmak yerine faz bilgisi sağlamayan ancak daha uygun maliyetli olan skaler reflektometreyi tercih etmektir. Yansıma katsayılarının genlik değerleri ve Debye modelinde kullanılan düşük frekanslardaki statik geçirgenlik, yüksek frekanslardaki geçirgenlik ve gevşeme süresi parametleri ile frekansa bağlı olarak değişen karmaşık geçirgenliği hesaplayabilme amaçlanmıştır. Makine öğrenmesi yaklaşımı kullanılarak yansıma katsayılarından Debye parametlerinin kestirimi yapılıp elde edilen Debye parametleri yardımıyla frekansa bağlı olarak karmaşık geçirgenlik elde edilecektir. Daha sonra karmaşık geçirgenliğin gerçek ve sanal kısımlarından dielektrik sabiti ve elektriksel iletkenlik değerleri türetilecektir. Makine öğrenmesi, veri setlerindeki örüntü ve kalıpları deneyim yoluyla öğrenerek tahminlerde bulunan yapay zekâ dalıdır. Bu çalışmada tahmin edilmesi gereken parametreler gerçek sayılar olduğundan, regresyon yöntemi kullanılacaktır. Çalışmada kullanılacak olan regresyon algoritmaları arasında k-en yakın komşu (kNN), rastgele orman (RF), uyarlanabilir yükseltme (AdaBoost) ve destek vektör makineleri (SVM) bulunmaktadır. Algoritmaların her biri hakkında şu şekilde bilgi verilebilir: k-NN algoritması, bir veri noktası için regresyon tahmini yaparken, bu noktanın en yakın 'k' komşusunu dikkate alır ve veri noktaları arasındaki uzaklık bilgisini kullanarak tahminleme yapar. RF algoritması, rastgele seçilen örneklerden oluşan çok sayıda karar ağacını birleştirerek sınıflandırma veya regresyon problemlerini çözebilir. Regresyon analizinde her ağaçtan gelen tahminler birleştirilerek ortalaması alınır. AdaBoost, birden çok zayıf öğreniciyi ağırlıklandırarak güçlü bir sınıflandırıcı modeli oluşturan bir tekniktir. Bu teknik yanlış sınıflandırılan örnekleri bir diğer iterasyonda daha fazla ağırlıklandırarak doğru sınıflandırmaya odaklanır. Bu süreç, belirlenmiş bir doğruluk seviyesine veya maksimum tahminci sayısına kadar devam eder. SVM, regresyon ve aykırı değer tespiti için veri sınıflarını en iyi ayıracak düzlemi bulmaya çalışır. Burada karar sınırı, sınıfların en yakın örnekleri göz önüne alınarak belirlenir. Bu algoritmalar ile oluşturulan modelleri birbiri arasında karşılaştırmak için ortalama mutlak hata (MAE), ortalama karesel hata (MSE), ortalama karesel hatanın kökü (RMSE) ve R-kare gibi performans metrikleri kullanılacaktır. MAE, tahmin edilen değerlerin gerçek değerlerden ne kadar uzakta olduğunu mutlak olarak hesaplar ve ortalamasını alır. MSE, tahmin edilen değerler ile gerçek değerler arasındaki hataların karesini alarak elde edilir. Bu metrik bütük hatalara daha fazla ağırlık vererek, modelin büyük hata yapma durumunu gözlemler. RMSE, MSE'nin kareköküdür. MSE'yi hesaplarken aldığımız kare işlemin geri çevirmek için karekök alınır ve hatalar gerçek değerlerin ölçüm birimine çevrilir. R-kare, oluşturulan modelin veri setinin varyansını ne derecede iyi açıkladığını gösteren metriktir ve 0 ile 1 arasında bir değer alır. Çalışmada kullanılacak olan veri setinin hazırlanması için ticari elektromanyetik simülatör kullanılmıştır. Bu simülasyonlar ticari olarak kullanılan bir prob ve katı bir dielektrik malzemeyle gerçekleştirilmiştir. Kullanılan katı malzemenin her simülasyonda Debye parametreleri düzgün dağılım olacak şekilde rastgele değiştirilmiştir. Yüksek frekans geçirgenliği 1 ile 20 arasında, düşük frekanslardaki statik geçirgenlik 12.3 ile 69.9 arasında ve gevşeme süresi ise 10−9 mertebesinde değerler almıştır. Burada statik geçirgenliğin yüksek frekans geçirgenliğinden büyük olmasına dikkat edilmiştir. Bu şekilde 1000 adet simülasyon gerçekleştirilmiştir. Bu simülasyonlar 0.5 GHz ve 10 GHz frekans aralığında olup her simülasyon 100 MHz aralığında 96 adet örnek içermektedir. Simülasyonlar Python programla dili kullanılarak simuülatörün sağladığı kütüphaneler kullanılarak otomatize hale getirilmiştir. Böylelikle, proramlama kullanılarak simülatör konrol edilmiştir ve yansıma katsayıları gerçek ve sanal değerli olarak elde edilmiştir. Bu sürecin sonunda elde edilen veri seti ise, yüksek frekans geçirgenliği, statik geçirgenlik, gevşeme süresi ve 96 adet yansıma katsayısından oluşmaktadır. Bu veri seti üzerinde, gerçek dünya senaryolarını daha iyi yansıtabilmek için beyaz Gauss gürültüsü eklenmiş ve yansıma katsayılarının genlik değerlerini kullanmak amacıyla gerçek ve sanal değerleri mutlak haline dönüştürülmüştür. Ayrıca gevşeme süresinin küçük olmasından dolayı algoritmaların daha büyük değere sahip değişkenlere daha fazla önem vermemesi için gevşeme süresi ve diğer parametrelerde 0 ile 1 arasında ölçeklendirilmiştir. Bu adımlar, veri ön işleme sürecinin bir parçası olarak uygulanmıştır. Veri ön işleme, veriyi modele vermeden önce doğru sonuçlar vermesi amacıyla ham verilerin analiz için uygun hale getirilmesine denir. Veri ön işleme sürecinden sonra her bir algoritmayla yansıma katsayılarının mutlak hali kullanılarak %80 eğitim ve %20 test olacak şekilde regresyon modelleri kurulmuştur ve her bir Debye parametresi birbirinden bağımsız bir şekilde tahmin edilmiştir. Daha sonra, modellerin sonuçlarının geniş bir veri setinde genel geçerliğini sağlamak amacıyla çapraz doğrulama yöntemi uygulanmıştır. Çapraz doğrulama türü olarak, k-kat çapraz doğrulama kullanışmıştır. Öncelikle veri seti, k eşit parçaya bölünür ve her parça sırasıyla test verisi olarak kullanılırken geriye kalan (k-1) parça eğitim verisi olarak kullanılır. Bu işlem tüm parçalar için tekrarlanır ve elde edilen performans değerlendirme metriklerini ortalaması, genelleştirilmiş performans metriği olarak kullanılır. Oluşturulan modellerin performansını arttırmak amacıyla her bir algoritmanın kendine özel olan hiperparametre ayarlaması yapılmıştır. Bu hiperparamatre ayarlamasının kolay bir şekilde yapılması amacıyla ilk olarak ızgara araması yöntemi kullanılmıştır. Bu yöntem model hiperparametrelerinin tüm olası kombinasyonlarını deneyerek en iyi performans sonucu için en iyi hiperparametre değerlerini bulmaya çalışır. Daha sonra, hiperparameter ayarlaması için optimizasyon sürecini daha verimli ve hiperparametre değerlerinin daha geniş yelpazede deneyebilmek için optuna kütüphanesi kullanılmıştır. Optuna, bayes teoremi temelli algoritmalar kullanarak en iyi hiperpametre değerlerini hızlı ve verimli bir şekilde bulmaya çalışan bir kütüphanedir. Daha sonra ortaya çıkan model performans metrikleri incelenmiş ve sonuçları gösterilmiştir. Bu metrikleri daha iyi hale getirmek için önceden bağımsız bir şekilde tahmin edilen Debye paramatrelerinin birbirlerine ardışık bir şekilde girdi sağlanarak yeni modeler gerçekleştirilmiştir. Bu modelleme yaklaşımı AdaBoost algoritmasıyla gerçekleştirilmiştir. Bu yaklaşımla oluşturulan ilk modelde, yansıma katsayılarıyla yüksek frekans geçirgenliği tahmin edilmiştir. Ardından ikinci modelde gevşeme süresi tahmini için yansıma katsayıları ve yüksek frekans geçirgenliği değerleri girdi olarak verilerek model eğitilmiştir ve gevşeme süresi birinci modelden elde edilen yüksek frekans geçirgenliğiyle birlikte bu model üzerinden tahmin edilmiştir. Son olarak üçüncü modelde statik geçirgenlik tahmini için eğitim verisi olarak yansıma katsayılarının yanında hem yüksek frekans geçirgenliği hem de gevşeme süresi değerleri girdi olarak verilmiştir. Daha sonra birinci ve ikinci modellerden elde edilen yüksek frekans geçirgenliği ve gevşeme süresi değerleriyle birlikte statik geçirgenlik tahmin edilmiştir. Ardışık olarak yapılan kurgunun sonucunda elde edilen performans metriklerinin bağımsız olarak tahmin edilen modellerin performansına kıyasla daha iyi olduğu gözlemlenmiştir.

Abstract:
Dielectric spectroscopy is a method used to quantify the dielectric characteristics of a substance, medium, or sample in relation to frequency. Dielectric materials play a crucial role in the fields of radio frequency and microwave technology. Dielectric materials are crucial for the performance, efficiency, and size of high frequency electronic circuits. Hence, it is crucial to concentrate on the characteristics of these materials. Different methodologies, including open-ended coaxial probe, transmission line, free space, and resonant cavities, are employed to assess the characteristics of dielectric materials. The open-ended coaxial probe is a device utilized in the domains of electrical engineering and material science to quantify the dielectric characteristics of substances. This device is comprised of a coaxial wire that has an open end. For accurate measurements with a coaxial probe, it is essential that the uncovered tip makes direct contact with the item being studied. An electromagnetic field is then sent from the other end of the probe, which causes reflection due to the impedance mismatch between the probe and the substance. The acquired reflection coefficients give valuable information into the material's characteristics. The reflection coefficients exhibit variability based on the frequency. A Vector Network Analyzer (VNA) is employed to determine the dielectric characteristics of a material. The VNA is capable of measuring both the phase and amplitude values of the reflection coefficients. However, Vector Network Analyzers (VNAs) are quite expensive instruments. The investigation involved converting the reflection coefficients in the data set collected from the electromagnetic simulator from imaginary and real values to amplitude values. The preference for using a scalar reflectometer instead of a VNA is due to the cost-effectiveness of the scalar reflectometer as it is cheaper. However, it is important to note that the scalar reflectometer does not offer phase information. The objective is to determine the frequency-dependent complex permeability by utilizing the amplitude values of the reflection coefficients, as well as the static permittivity at low frequencies, static permittivity at high frequencies, and relaxation time parameters employed in the Debye model. The machine learning technique will be employed to estimate the Debye parameters based on the reflection coefficients. Subsequently, the frequency-dependent complex permittivity will be derived using the calculated Debye parameters. Subsequently, dielectric constant and electrical conductivity values will be calculated based on the real and imaginary components of the complex permittivity. Machine learning is a branch of artificial intelligence that makes predictions by learning patterns and motifs in data sets through experience. Since the parameters to be estimated in this study are real numbers, the regression method will be used. The regression algorithms to be used in the study include k-nearest neighbor (k-NN), random forest (RF), adaptive boosting (AdaBoost), and support vector machines (SVM). Information about each of the algorithms can be given as follows: The k-NN algorithm, when making a regression prediction for a data point, takes into account the nearest 'k' neighbors of this point and makes predictions using the distance information between the data points. The RF approach is capable of addressing classification and regression issues by aggregating several decision trees that are constructed from randomly chosen samples. Regression analysis involves merging and then computing an average of the predictions made by each individual tree. AdaBoost is a technique that creates a strong classifier model by weighting multiple weak learners. This technique focuses on the correct classification by weighting the misclassified examples more in the next iteration. This process continues until a specified accuracy level or maximum number of predictors is reached. SVM aims to identify the optimal hyperplane that effectively divides the different classes of data, namely for regression and outlier identification purposes. The decision boundary is established by evaluating the nearest instances from each class. Performance metrics such as mean absolute error (MAE), mean squared error (MSE), root mean squared error (RMSE) and R-squared will be used to compare the models generated by these algorithms. MAE calculates in absolute terms how far the predicted values are from the true values and averages them. MSE is obtained by squaring the errors between predicted values and actual values. This metric gives more weight to large errors and monitors the model for large errors. RMSE is the square root of MSE. When calculating the MSE, the square root is taken to reverse the squaring process and the errors are converted to the unit of measurement of the actual values. R-squared is the metric that shows how well the generated model explains the variance of the data set and takes a value between 0 and 1. A commercial electromagnetic simulator was used to prepare the data set to be used in the study. These simulations were performed with a commercially available probe and a solid dielectric material. The Debye parameters of the solid material used in each simulation were randomly varied to ensure a uniform distribution. The high frequency permittivity was varied between 1 and 20, the static permittivity at low frequencies was varied between 12.3 and 69.9 and the relaxation time was varied on the order of 10−9. Here, it is taken into account that the static permittivity is greater than the high frequency permittivity. In this way, 1000 simulations were performed. These simulations are in the frequency range of 0.5 GHz and 10 GHz and each simulation contains 96 samples in the 100 MHz range. The simulations were automated using the Python programming language using the libraries provided by the simulator. Thus, the simulator was controlled using programming and the reflection coefficients were obtained as real and virtual values. The data set obtained at the end of this process consists of high frequency permittivity, static permittivity, relaxation time and 96 reflection coefficients. On this data set, white Gaussian noise was added to better reflect real-world scenarios and real and virtual values were converted to absolute values in order to use the amplitude values of the reflection coefficients. In addition, since the relaxation time is small, the relaxation time and other parameters are scaled between 0 and 1 so that the algorithms do not give more importance to variables with larger values. These steps were implemented as part of the data preprocessing process. Data preprocessing is the process of making the raw data suitable for analysis in order to provide accurate results before feeding the data into the model. After the data preprocessing process, regression models were constructed using the absolute form of the reflection coefficients with each algorithm as 80% training and 20% testing, and each Debye parameters were estimated independently of each other. Then, cross-validation method was applied to ensure the general validity of the results of the models in the data set. As a type of cross-validation, k-fold cross-validation was used. Firstly, the dataset is divided into k equal parts and each part is used as test data while the remaining (k-1) parts are used as training data. This process is repeated for all parts and the average of the obtained performance evaluation metrics is used as a generalised performance metric. In order to improve the performance of the models, the hyperparameters of each algorithm were tuned. In order to perform this hyperparameter tuning in an easy way, the grid search method was used first. This method tries to find the best hyperparameter values for the best performance result by trying all possible combinations of model hyperparameters. Then, the optuna library was used for hyperparameter tuning to make the optimisation process more efficient and to test a wider spectrum of hyperparameter values. Optuna is a library that tries to find the best hyperparameter values quickly and efficiently using Bayes theorem based algorithms. The resulting model performance metrics are then analysed and the results are shown. In order to improve these metrics, new models are realised by sequentially inputting the previously independently estimated Debye parameters to each other. This modelling approach was performed with the AdaBoost algorithm. In the first model created with this approach, high frequency permittivity was estimated with reflection coefficients. Then, in the second model, the model was trained by giving reflection coefficients and high frequency permittivity values as input for relaxation time estimation and the relaxation time was estimated from this model together with the high frequency permittivity obtained from the first model. Finally, in the third model, both high frequency permittivity and relaxation time values were given as input in addition to reflection coefficients as training data for static permeability estimation. Then, static permittivity was estimated with the high frequency permittivity and relaxation time values obtained from the first and second models. It was observed that the performance metrics obtained as a result of the sequential setup were better than the performance of the models estimated independently.