Veri füzyonu ve derin öğrenme yöntemi kullanılarak yapısal sağlık izleme sistemi geliştirilmesi
Development of structural health monitoring system using data fusion and deep learning method
Yazar: SONGÜL DEMİRTAŞ
Danışman: DOÇ. DR. ÖVÜNÇ POLAT
Akdeniz Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Yapılarda hasarlar, yaşlılık ve çevresel etkenlere bağlı olarak sistem elemanlarında dayanım azalmalarına, yapı geometrisinde sistemin zayıflamasına sebep olan değişikliklerin meydana gelmesine ve yapı elemanlarında ilave zorlamaların oluşmasına neden olabilmekte ve tasarımda öngörülemeyen durumlar ortaya çıkabilmektedir. Yapısal sağlık izleme (YSİ), bir yapıda meydana gelen hasarın tespit edilmesi, konumu belirlenmesi, büyüklüğünün değerlendirilmesi ve yapıda kalan ömrün belirlenmesi amacıyla belirli stratejilerin uygulandığı bir süreçtir. Hava taşıtlarında hasar tespiti için tahribatlı ve tahribatsız muayene yöntemleri kullanılmaktadır. Tahribatlı muayene teknikleri, muayene edilen malzeme veya ürünlerin tekrar kullanılma olasılıklarını ortadan kaldıran veya kısmen yok eden yöntemleri ifade ederken, tahribatsız muayene (NDT), malzemenin veya parçanın bütünlüğünü bozmadan gerçekleştirilen bir muayene türünü ifade etmektedir. NDT prosedürleri günümüzde yapısal sağlık izleme (YSİ) tekniklerinden daha olgun teknolojilere sahiptir, ancak insan müdahalesi gerektirir ve daha fazla iş gücüne ihtiyaç duyar. Ayrıca, harici prob veya ekipman kullanımı nedeniyle daha maliyetlidir. NDT, duruma dayalı bakım kavramı için uygun bir seçenek değildir. Bu nedenle, sahada kullanım sırasında hasarları izlemek için bir yol olarak, sensör tabanlı akıllı yapıların kurulumu önem kazanmaktadır. Kompozit malzemelerin kullanımı, nano seviyeden makro seviyeye kadar olan tasarım ve üretim süreçlerinde sensörlerle yapısal sağlığın anlık ve sürekli olarak izlenmesine imkân tanır. Bu sayede, bu yapıların akıllı yapılar haline dönüşmesi ve etkin bir şekilde kullanım sırasında izlenmesi mümkün olabilir. 
Hasar tespit yöntemlerinin otomasyona geçirilmesi, kurumlara teknik yenilikler ve kolaylık sağlayarak analiz hassasiyetini artırabilir ve insan kaynaklı yöntemlere olan bağımlılığı azaltabilir. Bu çalışmada, hava taşıtında kullanılmak üzere üretilmiş gerçek yapısallar kullanılmıştır. Özgün olarak oluşturulan veri setinde bu yapısallar üzerinden alınan görüntüler ile yapısallar üzerine yerleştirilmiş titreşim sensörlerinden elde edilen titreşim verileri kullanılmıştır. Bu yapısallar üzerinden farklı açılardan çekilmiş 101 adeti hasarlı ve  farklı açılardan çekilmiş 32 adeti hasarsız olmak üzere toplam 133 adet görüntü alınmış, hasarlı ve hasarsız olarak iki gruba ayrılmıştır. Hasarlı yapısal parçalar üzerinden 25 ölçüm, hasarsız parçalar üzerinden ise 12 adet ölçüm olmak üzere toplamda 37 adet ölçüm yapılmıştır. Her bir parçadan 5 sensör ölçümü olmak üzere tüm sensörlerden toplamda 185 adet sensör verisi elde edilmiş ve veri setinde kullanılmak üzere bilgisayar ortamında kaydedilmiştir. Sensör verileri hasarlı ve hasarsız olarak iki gruba ayrılmıştır.
Derin öğrenme teknikleriyle eğitilen görüntü işleme algoritmaları, yapısal görüntülerle birlikte sensör verilerini incelemek amacıyla kullanılmıştır. Yapay sinir ağlarının eğitilmesi için büyük miktarda veri ve uzun bir süre gerektiği göz önüne alındığında, özgün elde edilen yapısal parça görüntülerinin analizi için transfer öğrenmesi yöntemi kullanılarak SqueezeNet ağ yapısı, ve probleme özgün CNN yapısında bir ağ modeli kullanılmıştır. Sensör verileri tek başına 1 D-CNN Yapısının girişine uygulanarak ağ eğitilmiş ve veriler sınıflandırılmıştır. Bunun yanı sıra çalışmada probleme özgün olarak Multi-Input CNN yapısı oluşturularak ağın başarısı değerlendirilmiştir.  Bu ağ modelinde hem hasarlı/hasarsız parça görüntüleri, hem de hasarlı/hasarsız sensör verilerinin zamana göre değişiminin görüntüleri giriş olarak tanımlanmış ve ağ yapısında iki verinin birlikte kullanılması sonucunda eğitim ve test sınıflandırma yapılmıştır. 
Yapılan çalışmalar neticesinde hasarlı ve hasarsız parça sınıflandırması tüm modellerde gerçekleştirilmiş ve en başarılı sonuç Multi-Input CNN ağ mimarisi kullanımında alınmıştır. Oluşturulan modellerin daha fazla sayıda veri içeren veri seti kullanımı sayesinde geliştirilmesi ve daha iyi sonuçlar vermesi öngörülmektedir.  
Elde edilen sonuçlar çerçevesinde, mevcut yapısal sağlık izleme prosedürlerine katkıda bulunabilecek, uygun maliyetli ve hızlı bir hasar tespiti yöntemi önermektedir. Kullanılan derin öğrenme yöntemleri sayesinde denetçi tecrübesine bağımlı olmayan ve insan kaynaklı hata oranını ortadan kaldıran bir çözüm sunmaktadır. Hava taşıtlarına ait yapısalların hasar tespiti, uzman personel eğitimi ve tecrübesi gereksinimine ek olarak insan faktöründen kaynaklanan öznellik gibi durumlar nedeniyle bilgisayar tabanlı çözümlerle daha pratik ve hassas hale getirilebilir.

Abstract:
Damages in structures may cause strength decreases in system elements due to aging and environmental factors, changes in the structure geometry that cause the system to weaken, and additional stresses on the structural elements, and unforeseen situations may arise in the design. Structural health monitoring (SPI) is a process in which certain strategies are applied to detect damage to a structure, determine its location, evaluate its magnitude and determine the remaining life of the structure. Destructive and non-destructive testing methods are used to detect damage in aircraft. While destructive testing techniques refer to methods that eliminate or partially destroy the possibility of reuse of the inspected materials or products, non-destructive testing (NDT) refers to a type of inspection performed without compromising the integrity of the material or part. NDT procedures today have more mature technologies than structural health monitoring (SPI) techniques, but require human intervention and require more labor. It is also more costly due to the use of external probes or equipment. NDT is not a viable option for the condition-based maintenance concept. Therefore, the installation of sensor-based smart structures is gaining importance as a way to monitor damages during use in the field. The use of composite materials allows instantaneous and continuous monitoring of structural health with sensors in design and production processes from nano level to macro level. In this way, it may be possible to turn these structures into smart structures and monitor them effectively during use.
Automating damage detection methods can increase analysis sensitivity and reduce dependence on human-based methods by providing technical innovations and convenience to institutions. In this study, real structures produced for use in aircraft were used. In the originally created data set, images taken over these structures and vibration data obtained from vibration sensors placed on the structures were used. A total of 133 images were taken from these structures, 101 of which were damaged and 32 of which were undamaged, taken from different angles, and were divided into two groups as damaged and undamaged. A total of 37 measurements were made, 25 measurements on damaged structural parts and 12 measurements on undamaged parts. A total of 185 sensor data were obtained from all sensors, 5 sensor measurements from each part, and were recorded in the computer environment to be used in the data set. Sensor data is divided into two groups: damaged and undamaged. 
Image processing algorithms trained with deep learning techniques have been used to examine sensor data along with structural images. Considering that a large amount of data and a long time is required to train artificial neural networks, the SqueezeNet network structure and a problem-specific CNN structure network model were used using the transfer learning method to analyze the originally obtained structural part images. By applying the sensor data alone to the input of the 1 D-CNN Structure, the network was trained and the data was classified. In addition, in the study, the success of the network was evaluated by creating a Multi-Input CNN structure specific to the problem. In this network model, both damaged/undamaged part images and images of damaged/undamaged sensor data changing over time were defined as input, and training and test classification was made as a result of using the two data together in the network structure.
As a result of the studies, damaged and undamaged part classification was performed in all models and the most successful result was obtained when using the Multi-Input CNN network architecture. It is envisaged that the models created will be improved and provide better results by using a dataset containing more data.
Within the framework of the results obtained, it proposes a cost-effective and rapid damage detection method that can contribute to existing structural health monitoring procedures. Thanks to the deep learning methods used, it offers a solution that is not dependent on auditor experience and eliminates the rate of human error. Damage detection of aircraft structures can be made more practical and precise with computer-based solutions, due to situations such as subjectivity arising from human factors, in addition to the need for expert personnel training and experience.