Makine öğrenme problemlerinde konveks olmayan optimizasyon modellerinin iki konveks fonksiyonunun farkı ve ikinci derece konik progromlama ile modellenmesi
Difference of convex functions programming and second-order conic programming modelling of non-convex optimization problems in machine learning
Yazar: DUYGU ÜÇÜNCÜ
Danışman: PROF. DR. ERDAL GÜL ; PROF. DR. SÜREYYA AKYÜZ
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Matematik Ana Bilim Dalı / Matematik Bilim Dalı
Derece: Doktora, 2024
Konu: Matematik = Mathematics

Özet:
Makine öğrenmesi algoritmalarının tüm disiplinlerde kullanılmaya başlanması ve yapay zekanın yaygınlaşması ile birlikte literatürde bu yöntemlerin performanslarını arttırıcı yeni matematiksel modellemelere ihtiyaç duyulmuş ve optimizasyon teorisinin kullanıldığı modellemeler popülerliğini gittikçe arttırmıştır. Optimizasyon teorisinde de bilindiği gibi eğer problem konveks değil ise global çözüme ulaşmak her zaman mümkün olmamaktadır. Makine öğrenimi algoritmalarından sınıflandırma ya da kümeleme yapacak optimizasyon modeline ait amaç fonksiyonunun konveks olmadığı durumlarda modellenerek iki konveks fonksiyonun farkı ya da ikinci dereceden konik programlama algoritmaları ile global çözüme yakınsamalar yapılmaktadır. Topluluk öğrenmesi, birden fazla öğrenme modelini bir araya getirerek bireysel modellerin performansını artırma amacına dayanmaktadır. Bu yaklaşım, farklı modellerin öğrenme ve tahmin güçlerini birleştirerek, bireysel modellerin karşılaşabileceği zayıflıkları ve sınırlamaları aşmayı amaçlamaktadır. Özellikle karmaşık veri yapıları ve zorlu tahmin problemleri söz konusu olduğunda, topluluk öğrenmesi tek bir modelin performansını aşan sonuçlar üretebilmektedir. Bu nedenle, topluluk öğrenmesi, yapay zeka ve makine öğrenimi alanlarında giderek artan bir ilgiyle karşılanmakta ve pek çok disiplinde başarıyla uygulanmaktadır. Topluluk öğrenmesinin bu önemi, bu tezde ele alınan ve optimizasyon teorisine dayanan kümeleme problemlerinde de kendini göstermektedir. Kümeleme algoritmalarının performansını ve doğruluğunu artırmada topluluk öğrenmesi yöntemlerinin etkinliği, bu çalışmanın merkezinde yer almaktadır. Denetimsiz öğrenme algoritmalarından biri olan kümeleme, etiketlenmemiş benzer nesneleri aynı gruba yerleştirmek için kullanılır. Gruptaki en iyi modellerin seçimi, topluluk kitaplığındaki gereksiz çözümlerin genel tahmin doğruluğunu azaltacağı gerçeğinden dolayı topluluk öğrenme algoritmalarının genel performansında çok önemli bir role sahiptir. Bu nedenle, bu tür adayların elenmesi hesabına, topluluğun en iyi alt kümesini seçerken doğruluk ve çeşitlilik dikkate alınmalıdır. Bu tezde topluluk öğrenimi ile denetimsiz öğrenme problemlerinden kümeleme problemi optimizasyon teorisi kullanılarak modellenmiştir. Başka bir deyişle, topluluk içinde optimum doğruluk ve çeşitlilik sağlayan en iyi modellerin seçildiği bir alt kümenin bulunması problemi bir optimizasyon modeli tarafından tanımlanmıştır. Topluluğu oluşturacak kümeleme modelleri literatürde de sıkça tercih edilen k-ortalama algoritması ile kurulmuştur. Bu tezde geliştirilen yeni topluluk küme seçimi modelleri ve önerilen algoritmaların performansları, farklı alanlardan gerçek veri kümeleri üzerinde literatürdeki ilgili kümeleme algoritmaları ile karşılaştırılmıştır. Önerilen tezde kullanılacak olan yöntemler konveks fark programlama ve ikinci dereceden konik programlama algoritmalarıdır. Geliştirilmiş topluluk seçiminin, literatürdeki mevcut topluluk seçim algoritmalarından çoğunlukla daha iyi performans gösterdiği elde edilmiştir.

Abstract:
With the increasing use of machine learning algorithms in all disciplines and the widespread adoption of artificial intelligence, new mathematical modeling techniques have been needed to enhance the performance of these methods. As a result, modeling techniques that utilize optimization theory have become increasingly popular. As is known in optimization theory, if a problem is not convex, reaching a global solution may not always be possible. In cases where the objective function of an optimization model that performs classification or clustering through machine learning algorithms is not convex, global convergence can be achieved through algorithms by modeling the objective function as the difference of two convex functions or as the second-order cone programming. Ensemble learning, which combines multiple learning models, aims to enhance the performance of individual models. This approach merges the learning and predictive strengths of different models, aiming to overcome weaknesses and limitations that individual models may encounter. Especially in complex data structures and challenging prediction problems, ensemble learning can produce results surpassing the performance of a single model. This growing interest in ensemble learning in the fields of artificial intelligence and machine learning is also evident in clustering problems based on optimization theory, which is the focus of this thesis. The effectiveness of ensemble learning methods in improving the performance and accuracy of clustering algorithms is central to this work. Clustering, one of the unsupervised learning algorithms, is used to group similar unlabeled objects into the same group. The selection of the best models in the ensemble has a crucial role in the overall performance of ensemble learning algorithms due to the fact that redundant solutions in the ensemble library will reduce the overall prediction accuracy. Therefore, accuracy and diversity must be considered when selecting the best subset of the ensemble to account for the elimination of such candidates. In this thesis, the clustering problem, one of the ensemble learning and unsupervised learning problems, is modeled using optimization theory. In other words, a collective decision was determined by an optimization model, by an aggregated clustering solution that provides optimum accuracy and diversity in the ensemble. The k-means algorithm is used as the base learner due to its popularity in the clustering literature. The new ensemble cluster selection models developed in this thesis and the performance of the proposed algorithm are compared with different clustering algorithms on real datasets from different fields. The proposed methods used in the thesis are difference of convex programming and second-order conic programming algorithms. Improved ensemble selection has often been shown to outperform existing ensemble selection algorithms in the literature.