Zaman serileri tahmininde melez bir yaklaşım
A hybrid approach to time series forecasting
Yazar: NURBANU IŞIK DELİBALTA
Danışman: PROF. DR. BURHANETTİN CAN ; DR. ÖĞR. ÜYESİ GÖNÜL ULUDAĞ
Fatih Sultan Mehmet Vakıf Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Mühendislik Bilimleri = Engineering Sciences
Dizin: Derin öğrenme = Deep learning ; Hibrit öğrenme = Hybrid learning ; Makine öğrenmesi yöntemleri = Machine learning methods ; Uzun dönem belleği = Long term memory ; Uzun hafıza = Long memory ; Vikipedi = Wikipedia ; Yapay zeka = Artificial intelligence

Özet:
Bu çalışma, farklı karakteristik örüntülere sahip zaman serilerinin analizi için derin öğrenme (ing: deep learning) ve meta-sezgisel (ing: meta-heuristic) yöntemlerin birlikte kullanıldığı melez bir çerçeve uygulamasıdır. Bu melez çerçeve, Parçacık Sürü Optimizasyonu (ing: Particle Swarm Optimization) ve Uzun Kısa Süreli Bellek (ing: Long Short-Term Memory) yöntemlerini bir araya getirmektedir. Geleneksel Uzun Kısa Süreli Bellek modellerinde kullanılan stokastik gradyan iniş (ing: Stochastic Gradient Descent) optimizasyon algoritmasının öğrenme oranı Parçacık Sürü Optimizasyonu meta-sezgiseli ile adaptif bir şekilde kullanılmasını içerir. Bu yaklaşım, farklı dillere ait Wikipedia web trafiği zaman serileri için etkin bir gelecek tahmini yaklaşımı sunmaktadır. Uzun Kısa Süreli Bellek, derin öğrenme yöntemlerinden biridir ve zaman serilerinin bağlamsal bağımlılıklarını modellemek için kullanılır. Parçacık Sürü Optimizasyonu, toplum tabanlı bir optimizasyon algoritmasıdır ve derin öğrenme mimarilerinin eğitimi ve hiper-parametre ayarlarında başarılı bir şekilde yaygın olarak kullanılmaktadır. Bu yöntem, gelecek tahmini için en iyi parametre değerlerini bulmak için kullanılan bir optimizasyon süreci sağlamaktadır. Uzun Kısa Süreli Bellek modeli için hiper-parametreler arasında birim sayısı, öğrenme oranı, iterasyon sayısı gibi değerler bulunurken, Parçacık Sürü Optimizasyonu algoritması için ise kendilik faktörü, sosyal faktör, sürü ağırlık faktörü, parçacık sayısı, iterasyon sayısı gibi parametreler önemlidir. Bu hiper-parametrelerin doğru bir şekilde seçilmesi, modelin veri kümesine uyum sağlaması ve aşırı öğrenme (ing: overfitting) ya da eksik öğrenme (ing: underfitting) gibi sorunların önlenmesi açısından hayati önem taşır. Bu çalışmada, zaman serisi analizi için farklı Uzun Kısa Süreli Bellek yapıları ve optimizasyon yöntemleri kullanılarak performans değerlendirmesi yapılmıştır. Yöntemler web trafik zaman serisi verisi üzerinde uygulanmıştır. İlk olarak, Tek Yönlü Uzun Kısa Süreli Bellek modeliyle deneyler gerçekleştirilmiştir. Ardından, Çift Yönlü ve çok katmanlı Uzun Kısa Süreli Bellek modelleri de değerlendirilmiştir. Elde edilen sonuçlar incelendiğinde, Tek Yönlü Uzun Kısa Süreli Bellek modelinin en düşük Ortalama Kare Hatası (ing: Mean Squared Error) değerini verdiği gözlemlenmiştir. Uzun Kısa Süreli Bellek modeli deneyinde Stokastik Gradyan İniş (ing: Stochastic Gradient Descent) optimizasyon algoritmasının yüksek iterasyonlarda iyi sonuçlar verdiği sonucu elde edilmiştir. Ancak düşük iterasyonlarda daha iyi sonuçlar elde etmek için Parçacık Sürü Optimizasyonu-Uzun Kısa Süreli Bellek melez yöntemi kullanılarak öğrenme oranı değiştirilmiştir. Parçacık Sürü Optimizasyonu algoritması, hiper-parametre optimizasyonu ile en uygun öğrenme oranı belirlenmiştir. Elde edilen sonuçlar, Parçacık Sürü Optimizasyonu ve Uzun Kısa Süreli Bellek kullanarak yapılan analizin diğer geleneksel yöntemlere kıyasla daha iyi performans gösterdiğini göstermektedir. Özellikle, MSE hata metrikleri açısından, melez Parçacık Sürü Optimizasyonu Uzun Kısa Süreli Bellek yönteminin daha düşük hata değerleri elde ettiği gözlenmiştir. Bu durum, melez yöntemin zaman serisi verilerinin modellemesi ve gelecek tahminleri için daha etkili bir kombinasyon sunduğunu göstermektedir. Bu çalışma, farklı Uzun Kısa Süreli Bellek yapıları ve optimizasyon yöntemlerinin zaman serisi analizindeki performanslarının değerlendirilmesi açısından önemli bir katkı sağlamaktadır. Farklı hiper-parametre değerlerinin denendiği bir yaklaşım, hem Uzun Kısa Süreli Bellek hem de Parçacık Sürü Optimizasyonu ile elde edilen sonuçların daha güvenilir ve daha iyi performanslı olmasını sağlayabilir. Bu şekilde, modelin genel performansını iyileştirmek ve veri kümesine en uygun modeli elde etmek için daha kapsamlı bir araştırma yapılabilir.

Abstract:
This study presents a hybrid framework that combines deep learning and 
metaheuristic methods for the analysis of time series with different characteristic 
patterns. The hybrid framework integrates Particle Swarm Optimization (PSO) and 
Long Short-Term Memory (LSTM) methods. It involves the adaptive use of the 
stochastic gradient descent optimization algorithm used in traditional Long Short Term 
Memory models with the learning rate Particle Swarm Optimization meta-heuristic. 
This approach provides an efficient future forecasting approach for Wikipedia web 
traffic time series of different languages.
LSTM is one of the DL methods used to model contextual dependencies in 
time series. PSO, on the other hand, is a metaheuristic optimization method widely 
used for time series analysis. This method provides an optimization process to find the 
best parameter values for future predictions.
For the LSTM model, hyperparameters such as the number of units, learning 
rate, and number of iterations are important, while for the PSO algorithm, parameters 
like individuality factor, social factor, swarm weight factor, number of particles, and 
number of iterations are crucial. Properly selecting these hyperparameter values is of 
vital importance to ensure the model fits the dataset and prevent issues such as 
overfitting or underfitting.
In this study, performance evaluation was conducted using different LSTM 
architectures and optimization methods for time series analysis. The methods were 
applied to web traffic time series data. Firstly, experiments were carried out using the 
Unidirectional LSTM model. Subsequently, Bidirectional LSTM and Multilayer 
LSTM models were also evaluated. Upon examining the results, it was observed that 
the Unidirectional LSTM model provided the lowest Mean Squared Error (MSE) 
values.
In the experiments with the LSTM model, it was observed that the Stochastic 
Gradient Descent (SGD) optimization algorithm yielded good results in high 
iterations. However, to achieve better results in low iterations, the PSO-LSTM hybrid 
method was employed by adjusting the learning rate. The PSO algorithm was used for 
hyperparameter optimization to determine the optimal learning rate. The obtained 
results demonstrate that the analysis performed using PSO and LSTM outperformed 
other traditional methods in terms of performance.
Especially in terms of MSE error metrics, it has been observed that the hybrid 
PSO-LSTM method achieves lower error values. This finding indicates that the hybrid 
approach provides a more effective combination for modeling time series data and 
making future predictions. This study makes a significant contribution to the 
evaluation of different LSTM architectures and optimization methods for time series 
analysis. The approach of trying different hyperparameter values can lead to more 
reliable and better-performing results for both LSTM and PSO. By doing so, a more 
comprehensive research can be conducted to improve the overall performance of the 
model and obtain the most suitable model for the dataset.