Dalgacık dönüşümü yöntemi ile kendi yapılanan işaret örüntü kodlama
Self organised signal pattern encoding by wavelet transform method
Yazar: MERİÇ YÜCEL
Danışman: PROF. DR. AHMET SERTBAŞ ; PROF. DR. BURAK BERK ÜSTÜNDAĞ
İstanbul Üniversitesi-Cerrahpaşa / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Bu çalışmada insan beynindeki sinir ağlarının enerji entropi ilişkisinden ilham alınarak kendi yapılanan, dinamik, adaptif bir işaret örüntü kodlama yöntemi geliştirilmiştir. Dalgacık Dönüşümü kullanarak giren sinyallerin dikey özelliklerini çoklu ağaç üzerinde kodlayan bu yöntemin düşük zaman ve bellek karmaşıklığı, çevrim içi çalışabilme özelliği, iyi kodlama performansı ve az hiper parametre gerektirmesi gibi özellikleriyle vektör niceleme, kümeleme ve özellik çıkarımı temelli makine öğrenmesi yöntemlerine iyi bir alternatif olacağı düşünülmektedir.  Bu çalışmada geliştirilen Kortikal kodlama yöntemindeki morfolojik yapılanma, bilgi entropisini artırırken sinyal enerjisi dağılımını en aza indirmeyi amaçlar. Bilgi entropisinin artması verimli, ideal kodlamaya ulaşmada kritik bir öneme sahiptir.  Kortikal kodlama yönteminin bir başka önemli özelliği de genelleştirme performansının yüksek olmasıdır. Genelleştirme makine öğrenmesi ve yapay zek\^{a} uygulamalarında bir metodun eğitim veri seti dışında test veri setleri ile de benzer başarımda çalışmasını göstermesi açısından önemli bir göstergedir. Bir başka önemli özelliği ise yöntemin düğüm temelli bağımsız yapısı ve hiyerarşik yaklaşımın paralelleştirme ve nöromorfik hesaplama için uygun olmasıdır. Bu tez çalışmasında Kortikal kodlama yönteminin performansı kümeleme analizi ve aykırılık tespiti uygulamalarında yaygın kullanılan çeşitli kümeleme temelli makine öğrenmesi metotları ile karşılaştırılmıştır. Bu karşılaştırmaların her biri için kapsamlı veri setleri kullanılmıştır. Kümeleme analizi karşılaştırmalarında çalışma süresi ve kümeleme performansı testleri olmak üzere iki temel test yapılmıştır. Bu testlerde çevrim içi çalışmanın dezavantajına rağmen Kortikal kodlama yöntemi K-means'e benzer sonuçlar üretmiş, diğer yöntemlerden daha az başarılı olmuşsa da çalışma süresi testlerinde tüm yöntemlere bariz bir üstünlük sağlamıştır. Ayrıca genelleştirme performansı da tüm karşılaştırılan yöntemlerden daha iyi sonuç üretmiştir. Aykırılık tespiti analizinde benzer şekilde çevrim içi çalışmanın getirdiği dezavantaja rağmen karşılaştırılan tüm çevrim dışı yöntemlerden ortalama %12,6 daha iyi sonuç üretmiştir.  Öte yandan, Kortikal kodlama yönteminin aykırılık tespiti sonucu kendisi gibi çevrim içi çalışan yöntem olan Ardışık K-means'ten %18,4 daha iyidir.  Özetle, Kortikal kodlama yönteminin sayılan özellikleri dikkate alındığında, özellik çıkarımı, sınıflandırma, sinyal işleme, kümeleme gibi birçok makine öğrenmesi alanında kullanılabilir olması ile finansal tahmin sistemleri, aykırılık tespiti, pazarlama, ses ve görüntü kodekleri, siber güvenlik vb. uygulamaları için yüksek potansiyel taşıdığı görülmektedir.

Abstract:
Inspired by the energy-entropy relationship of the neural networks in human brain, here we developed a self-organized, dynamic, and adaptive signal pattern encoding method, which we call Cortical Coding. The key characteristic of the novel method is that it encodes wavelet-transformed orthogonal properties of the input signals on an n-array tree. Based on its performance, the method would be a good alternative to vector quantization, clustering and feature extraction-based machine learning methods frequently used in the literature. The method has better features including low time and memory complexity, good coding performance and low hyperparameter requirement as well as online operation. The morphological structuring in the method aims to minimize signal energy distribution while increasing the information entropy, important towards achieving optimum coding performance. We demonstrated the method performs well using the test data sets similar to that with the training dataset, a central aspect of generalization performance, the key factor in ML and AI applications. Since the new method has a node-based independent structure that develops a hierarchical architecture, it is suitable for parallelization and neuromorphic computation. Applying the comprehensive data sets used worldwide, in this thesis, the performance of the Cortical Coding is compared with various cluster-based ML methods commonly employed in cluster analysis and anomaly detection applications in the literature. In clustering analysis, e.g., two basic tests were carried out: clustering performance and execution time. For practical purposes, the method works online, which may seem curtailing its performance. Despite this disadvantage, it produced results similar to those of K-means in performance, though slightly less so than other methods, and surpassed all methods in execution time tests. Furthermore, while the generalization performance was better than all others used in comparison, in the outlier detection analysis, it produced an average of 12.6% better results online than all other offline methods as well, and in anomaly detection, it performed 18.4% better than the online methods, e.g., Sequential K-means. In conclusion, based on its overall online performance and extremely fast execution time, Cortical Coding method shows enormous potential towards employment in many ML applications, e.g., classification, signal processing, and clustering, all imperative features essential for practical implementations, such as in financial forecasting, anomaly detection, marketing, audio and video codecs, and cyber security, to list a few.