Veri ambarındaki perakende verilerinde anomali tespiti ve aktarımı için yapay zeka tabanlı yaklaşımlar
Artificial intelligence-based approaches for anomaly detection and transfer in retail data in the data warehouse
Yazar: ONUR ÇİRKİN
Danışman: DR. ÖĞR. ÜYESİ NAGEHAN İLHAN
Harran Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Anomaliler = Anomalies ; Veri ambarı = Data warehouse ; Veri temizleme = Data cleaning

Özet:
Bu çalışma, veri ambarına alınan kaynak veriler üzerinden anomali tespiti için bazı öneriler sunmaktadır. Kirli ve gürültü verilerin veri ambarına girişinin engellenmesi için bazı yapay zekâ algoritmalarının testleriyle bilgi verilmeye çalışılmıştır. Veri ambarında temiz ve sağlıklı verilerin bulunması, veri bilimi çalışmaları gibi alanlar için oldukça faydalıdır. Günümüzde yaşanan çip krizi, fiziksel makinelerde tasarrufun önemini artırmıştır. Bu bağlamda, sunulan yaklaşımın fiziksel makinelerde tasarruf sağlama potansiyeli bulunmaktadır. LSTM, Isolation Forest, Local Outlier Factor ve SVM algoritmaları test edilmiştir. LSTM algoritmasının büyük verilerde zamansal olarak dezavantajlı olabileceği düşüncesiyle Local Outlier Factor ve SVM algoritmaları da değerlendirmeye dahil edilmiştir. Isolation Forest, LSTM, Local Outlier Factor ve SVM algoritmaları arasında çalışma yapılmıştır. Ancak, algoritmaların her birinin farklı anomalileri tespit ettiği gözlemlenmiştir, bu da anomali tespiti problemlerinde "tek en iyi algoritma" yaklaşımının yetersiz olduğunu ortaya koymaktadır. Sonuç olarak, algoritmaların hibrit bir ensemble modeli olarak entegrasyonu, çeşitli algoritmaların güçlü yönlerinden faydalanarak ve zayıf yönlerini dengelerken, performansın artırılması yönünde önemli bir potansiyel taşımaktadır. Bu yaklaşımın uygulanabilirliği ve etkinliği, daha geniş veri kümeleri üzerindeki kapsamlı deneylerle doğrulanmalı ve belirli uygulama senaryolarına göre maliyet-fayda analizi ile değerlendirilmelidir.

Abstract:
This study presents several recommendations for anomaly detection based on source data taken into the data warehouse. Efforts have been made to provide information through the testing of certain artificial intelligence algorithms to prevent the entry of dirty and noisy data into the data warehouse. Having clean and healthy data in the data warehouse is quite beneficial for areas such as data science studies. The current chip crisis has increased the importance of savings in physical machines. In this context, the proposed approach has the potential to provide savings in physical machines. LSTM, Isolation Forest, Local Outlier Factor, and SVM algorithms have been tested. Considering that the LSTM algorithm may be temporally disadvantaged with large data, the Local Outlier Factor and SVM algorithms have also been included in the evaluation. A study has been conducted among the Isolation Forest, LSTM, Local Outlier Factor, and SVM algorithms. However, it has been observed that each algorithm detects different anomalies, which indicates that the "single best algorithm" approach is insufficient for anomaly detection problems. Consequently, the integration of algorithms as a hybrid ensemble model carries significant potential for enhancing performance by leveraging the strengths and balancing the weaknesses of various algorithms. The applicability and effectiveness of this approach should be validated with comprehensive experiments on larger datasets and evaluated with a cost-benefit analysis according to specific application scenarios.