Dizel makinanın makina öğrenmesi yöntemi kullanılarak modellenmesi ve karar-destek mekanizması oluşturulması
Machine learning method based marine diesel engine modelling and decision-support system setting
Yazar: TOLGA ŞAHİN
Danışman: PROF. DR. CEVAT ERDEM İMRAK
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Makine Mühendisliği Ana Bilim Dalı / Makine Mühendisliği Bilim Dalı
Derece: Doktora, 2022
Konu: Makine Mühendisliği = Mechanical Engineering
Dizin: Arıza arama = Fault detection ; Dizel motorlar = Diesel engines ; Karar destek sistemleri = Decision support systems ; Makine öğrenmesi = Machine learning

Özet:
Deniz araçlarının kullanımı hem ticari hem askeri açıdan tarih boyunca toplumların önem verdiği konulardan birisi olmuştur. Günümüz ihtiyaçları doğrultusunda deniz araçlarının yüksek faaliyet oranı ve düşük maliyet ile sürdürülebilir şekilde işletilmesi daha da önem kazanmıştır. Bir deniz aracında bu isterlerin sağlanabilmesi için en çok dikkat edilmesi gereken kısım ise gemi ana makinalarıdır.  Gemi ana makinalarında ortaya çıkabilecek arızalar, gemilerin uzun süre arızalı kalması ve/veya yüksek maliyetli onarım ihtiyaçlarının ortaya çıkmasıyla sonuçlanabilir. Gemi ana makinalarındaki arızaların hızlı tespiti makinanın güvenirliğinin artmasına ilave olarak, daha büyük arızaların oluşmasını engellemeyi ve gemilerin çalışmasının kesintiye uğramadan devam etmesini sağlar.
Ticari ve askeri maksatlar dışında gemilerin bir diğer önemli kullanım alanı da ülke sınırları içerisindeki toplumsal düzenin sağlanmasıdır. İnsan hayatını kurtarmak, doğal kaynakları korumak, deniz kirliliğini önlemek ve kaçakçılıkla mücadele gibi geniş bir görev yelpazesine sahip olan Sahil Güvenlik Komutanlığı gemilerinde de diğer birçok askeri ve ticari gemide olduğu gibi dizel ana makinalar kullanılmaktadır. Ana makinaların her zaman sorunsuz çalışması ve gemilerin görevlerini yerine getirirken hızlı tepki verebilmeleri için arızaların hızlı ve erken tespit edilmesini ve maliyetli veya onarımı uzun süren arızaların önlenmesini sağlamak kritik öneme sahiptir.
Gelişen teknolojiye paralel olarak, gemi dizel makinalarının arıza tespitinde farklı yöntemler kullanılmaktadır. Derin öğrenme, yapay zekâ, makina öğrenmesi gibi yenilikçi ve gelişen bilişim teknolojileri uygulamaları makinalarda meydana gelebilecek arızaların hızlı tespit ve teşhisini kolaylaştıran uygulamalardır.
Bu tezde, dört zamanlı yüksek devirli bir gemi dizel makinasının sistem arızalarının etkin bir şekilde tespit ve teşhis edilebilmesi için makina öğrenmesi algoritmaları ile akıllı teşhis yöntemlerinin geliştirilmesi ve uygulanması incelenmiştir. 
Ayrıca, gemi dizel makinasından gerçek zamanlı elde edilen verilere dayalı makina öğrenmesi tabanlı çok sınıflı sınıflandırma modeli oluşturulması, oluşturulan modelin makina öğrenmesi algoritmaları kullanılarak analizlerinin yapılması ve makina sistem arızalarına yönelik bir karar-destek mekanizması oluşturulması hedeflenmiştir.
Bu çalışma temel olarak on bölümden oluşmaktadır. Birinci bölümde, genel olarak makina öğrenmesi ve dizel gemi makinası arıza teşhis yöntemleri hakkındaki literatür ile tezin amacı ve yapısı hakkında bilgilendirmeler yapılmıştır.
İkinci bölümde, dört zamanlı yüksek devirli gemi dizel makinası ve çalışma prensibi genel hatlarıyla tanıtılmış ve çalışmada irdelenecek sistemler anlatılmıştır.
Üçüncü bölümde, dört zamanlı yüksek devirli bir gemi dizel makinasinın çalışma parametreleri, arıza teşhisi ve arıza takip sistemi anlatılmıştır.
Toplanan verilerden bilgi elde edilmesine yönelik olarak kullanılabilecek yöntemler dördüncü bölümde tanıtılmıştır. Bu bölümde, veri madenciliği, makina öğrenmesi ve veri sınıflandırma yöntemleri anlatılmıştır.
Beşinci bölümde, veri analizlerinde kullanılacak araçlar ve analiz süreci anlatılmıştır.
Çok sınıflı sınıflandırma probleminin çözümünde kullanılacak makina öğrenmesi algoritmaları altıncı bölümde tanıtılmıştır.
Yedinci bölümde, yapılan analizleri geliştirmek için uygulanan topluluk yöntemleri hakkında bilgilendirme yapılmıştır.
Yapılan analizlerin değerlendirilmesine yönelik olarak uygulanacak süreç, kullanılacak performans değerlendirme yöntemleri ve metrikleri sekizinci bölümde tanıtılmıştır.
Dokuzuncu bölümde, uygulamaları ve elde edilen sonuçları içeren araştırma sürecinin metodolojisi sunulmuştur.
Son bölüm olan onuncu bölümde ise, analizlerden elde edilen sonuçlar yorumlanmıştır.
Bu çalışmada öncelikle, gemi dizel makinası üzerinde mevcut, programlanan limitlerinin dışına çıkılması durumunda sesli ve/veya görsel alarmlar gönderen sensörlerden alınan gerçek zamanlı değerler ve gemi jurnalleri kullanılarak bir veri seti oluşturulmuştur. Bu veri seti; normal çalışma durumu, yanma/egzoz sistemi arızaları, soğutma sistemi arızaları ve yağlama sistemi arızalarını içeren dört sınıf içermektedir. Sonrasında, veri ön işleme sürecine geçilmiştir. Modelin oluşturulmasında kullanılacak veriler, uygulanacak makina öğrenmesi sürecine uygun hale getirilmiş, anlamlı veriler modele dahil edilip diğer veriler ise veri setinden çıkarılmıştır.
Araştırmada, bu çok sınıflı sınıflandırma probleminin çözümüne yönelik olarak uygun makina öğrenmesi modeli oluşturulmuştur. Analizler, her durumda sınıf hedefini doğrulukla tahmin etmek için makina öğrenmesi sınıflandırma tekniği kullanan, makinanin limitleri dışında kalan çalışma parametreleri verilerini analiz eden Python dilinde hazırlanmış veri madenciliği aracıyla gerçekleştirilmiştir.
Farklı makina öğrenmesi sınıflandırma yöntemlerinin performansını incelemek maksadıyla, on üç temel makina öğrenmesi algoritması modele uygulanmış ve performansları değerlendirilmiştir. Bu on üç temel makina öğrenmesi algoritmasının performans değerlendirmelerinde; Hata Matrisi, Sınıflandırma Raporu, Tahmin Hatası, Öğrenme Eğrisi ve performans metrikleri kullanılmıştır. Hafif Gradyan Artırma Makinasi'nin modeli oluşturmak için diğer başarılı algoritmalara göre nispeten kısa bir süre ile en verimli ve doğruluk puanı yüksek performansa sahip olduğu belirlenmiştir. Elde edilen sonuçlar incelendiğinde, yedi temel algoritmanın (Hafif Gradyan Artırma Makinası, Rastgele Orman, Gradyan Artırma, Ekstra Ağaçlar, Karesel Diskriminant Analizi, Karar Ağacı ve K-en Yakın Komşu) Doğruluk değerleri %95,74 ile %97,73 aralığında değişirken, F-ölçütü (F1) değerlerinin de %95,92 ve %98,03 aralığında değiştiği belirlenmiştir. Ancak, Naive Bayes (%48,63 Doğruluk, %61,33 F1) ve AdaBoost (%64,74 Doğruluk, %69,47 F1) algoritmalarının sonuçları, başlangıç hesaplamalarında tüm algoritmalar arasında en kötü performansa sahip algoritmalar olduklarını göstermiştir.
Temel makina öğrenmesi algoritmalarının performanslarını artırmak için, hiperparametreleri iyileştirildikten sonra Torbalama ve Harmanlama topluluk yöntemleri analizlere ilave edilmiştir. Topluluk yöntemlerinin analizlere ilave edilmesi sonrası performans kontrolleri, Doğruluk ve Duyarlılık ile Kesinlik performans metriklerinin harmonik ortalaması olan F-ölçütü kullanılarak yapılmıştır. Değerlendirmelerde model kurulum süreleri de dikkate alınmıştır. 
Torbalama topluluk yönteminde, uzun bir model kurulum süresi gerektirmesine rağmen, Gradyan Artırma algoritması %98,31 Doğruluk ve %98,08 F1 değerleriyle en başarılı sonuçları elde etmiştir. Gradyan Artırma algoritmasının Doğruluk değerinde yaklaşık %0,4 oranında bir artış gözlemlenmiştir. Ayrıca, model kurulumu için oldukça uzun zaman gerektirmesiyle birlikte, Doğruluk değerinde yaklaşık %45 oranında artış sağlayan AdaBoost algoritmasının en dikkat çekici performansı sergilediği belirlenmiştir.
Harmanlama topluluk yönteminde ise, Gradyan Artırma ve Rastgele Orman algoritmalarının harmanlanması sonrası, oldukça kısa bir model kurulum süresi (86 saniye) ve %98,63 Doğruluk ile %98,43 F1 performans değerleri elde edilmiştir. 
Sonuç olarak, dört zamanlı yüksek devirli bir gemi dizel makinasının arıza teşhisine odaklanan bu çok sınıflı sınıflandırma probleminin en başarılı çözümü Harmanlama topluluk yöntemi kullanılarak Gradyan Artırma ve Rastgele Orman algoritmalarının birlikte uygulanmasıyla elde edilmiştir.

Abstract:
The use of marine vessels has been one of the issues that societies have given importance to both commercially and militarily throughout history. In line with today's needs, the sustainable operation of marine vessels with high activity rate and low cost has gained more importance. The most important part in order to meet these requirements in a sea vessel is the ship's main engines. Failures that may occur in ship engines may result in the ships being out of order for a long time and/or the need for costly repairs. The rapid detection of faults in ship engines, in addition to increasing the reliability of the engine, prevents the occurrence of larger faults and ensures that the operation of the ships continues without interruption.
Apart from commercial and military purposes, another important use of ships is to ensure social order within the borders of the country. As in many other military and commercial ships, diesel main engines are also used in the Coast Guard Command ships, which have a wide range of duties such as saving human life, protecting natural resources, preventing marine pollution and fighting against smuggling. It is critical to ensure that faults are detected quickly and early, and to prevent costly or long-to-repair failures, so that main engines are always running smoothly and ships are able to respond quickly as they perform their duties.
In parallel with the developing technology, different methods are used for fault detection of ship diesel engines. Innovative and developing information technology applications such as deep learning, artificial intelligence and machine learning are applications that facilitate rapid detection and diagnosis of malfunctions that may occur in engines.
In this thesis, the development and application of intelligent diagnostic methods using machine learning algorithms are investigated in order to effectively detect and diagnose system failures of a four stroke high speed marine diesel engine.
In addition, it is aimed to create a machine learning-based multiclass classification model based on real time data from the ship diesel engine, to analyze the created model using machine learning algorithms, and to create a decision-support mechanism for machine system failures.
This study basically consists of ten chapters. In the first part, general information about the thesis including the purpose of the thesis, the structure of the thesis and literature research has been given.
In the second part, the four-stroke high-speed marine diesel engine is introduced in general terms and the systems to be examined in the study are explained.
In the third chapter, the operating parameters, fault diagnosis and fault tracking system of a four-stroke high-speed ship diesel engine are explained.
The methods that can be used to obtain information from the collected data are introduced in the fourth section. In this section, data mining, machine learning and data classification methods are explained.
In the fifth chapter, the tools to be used in data analysis and the analysis process are explained.
Machine learning algorithms to be used in solving the multiclass classification problem are introduced in the sixth chapter.
In the seventh chapter, information was given about the important ensemble methods applied to improve the analyzes.
The process to be applied for the evaluation of the analyzes, the performance evaluation methods and metrics to be used are introduced in the eighth chapter.
In the ninth chapter, the methodology of the research process including the applications and the results obtained is presented.
In the tenth section, which is the last section, the results obtained from the analyzes are interpreted.
In this study, first of all, a data set was created by using the real-time values from the currrent sensors on the engine that send audible and/or visual alarms in case of exceeding the programmed limits and the ship logs. This data set includes four classes which are normal operating condition, combustion/exhaust system faults, cooling system faults, and lubrication system faults.
Afterwards, the data preprocessing process was started. The data to be used in the creation of the model were adapted to the machine learning process to be applied, meaningful data were included in the model and other data were excluded from the data set.
In the research, an appropriate machine learning model was created for the solution of this multi-class classification problem. Analyzes were performed with the Python data mining tool, which analyzes data of operating parameters outside the limits of the engine, using the machine learning classification technique to accurately predict the class target in each case.
In order to examine the performance of different machine learning classification methods, thirteen basic machine learning algorithms were applied to the model and their performances were evaluated. In the performance evaluations of these thirteen basic machine learning algorithms; Confusion Matrix, Classification Report, Prediction Error, Learning Curve and performance metrics based on Accuracy were used. It has been determined that the Light Gradient Boosting Machine has the most efficient and high accuracy performance with a relatively short time compared to other successful algorithms to create the model.
When the results obtained are examined, the accuracy values of the seven basic algorithms (Light Gradient Boosting Machine, Random Forest, Gradient Boosting, Extra Trees, Quadratic Discriminant Analysis, Decision Tree and K-Nearest Neighbor) vary between 95.74% and 97.73%, while the F-measure (F1) values changed between 95.92% and 98.03%. 
However, the results of Naive Bayes (48.63% Accuracy, 61.33% F1) and AdaBoost (64.74% Accuracy, 69.47% F1) algorithms showed that they had the worst performance among all algorithms in the initial calculations.
In order to improve the performance of basic machine learning algorithms, Bagging and Blending ensemble methods were added to the analysis after their hyperparameters were improved. After adding ensemble methods to the analysis, performance checks were made using Accuracy and F-measure, which is the harmonic mean of Recall and Precision performance metrics. Model setup times were also taken into account in the evaluations.
After applying the Bagging ensemble method to the model, although it requires a long model setup time, the Gradient Boost algorithm achieved the most successful results with 98.31% Accuracy and 98.08% F1 values. An increase of about 0.4% was observed in the Accuracy value of the Gradient Boosting algorithm. 
In addition, it has been determined that AdaBoost algorithm, which provides approximately 45% increase in Accuracy value, exhibits the most remarkable performance, although it requires quite a long time for model setup.
In the Blending ensemble method, after blending the Gradient Boosting and Random Forest algorithms, a very short model setup time (86 seconds) and 98.63% Accuracy and 98.43% F1 performance values were obtained.
As a result, the most successful solution of this multi-class classification problem focusing on fault diagnosis of a four stroke high speed ship diesel engine was obtained by applying the Gradient Boosting and Random Forest algorithms together using the Blending ensemble method.