IoT tabanlı çok değişkenli zaman serilerinde transformer ağı kullanarak anomali tespiti
Anomaly detection in IoT-based multivariate time-series using transformer network
Yazar: ABDUL AMIR ALIOGHLI
Danışman: DR. ÖĞR. ÜYESİ FEYZA YILDIRIM OKAY
Gazi Üniversitesi / Bilişim Enstitüsü / Bilgisayar Bilimleri Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Son yıllarda, Nesnelerin İnterneti (Internet of Things / IoT) cihazlarının yaygınlaşmasıyla otomatik sanayileşme teknolojilerinde bir artışa tanık olunmuş; bu da, çok değişkenli özelliklerle karakterize edilen zaman serisi verilerinin başta olmak üzere büyük miktarda verinin üretilmesine yol açmıştır. Çok değişkenli zaman serisi verilerinde anomali tespiti, normal veri trendlerinden sapmaların tanımlanmasını gerektiren kuruluşlar için önemli bir zorluk teşkil etmektedir. Derin öğrenme algoritmaları bu tür sorunların çözümünde üstün performans göstermiştir. Derin öğrenmede son zamanlardaki bir gelişme olan Transformer Ağları, günümüz teknolojileri ürünü bir model olarak ortaya çıkmıştır. Ancak Transformerlerin karşılaştığı en büyük kısıtlık, bir dizi içindeki her veri noktasının kesin konumunu doğru bir şekilde belirlemektir. Bu zorluğun üstesinden gelmek için, Transformer'ın geliştiricileri tarafından ek bir bileşen olarak Konumsal Kodlama (Positional Encoding / PE) tanıtılmıştır. Mutlak (Absolute) PE ilk olarak 2017 yılında Transformer mimarisinin bir parçası olarak önerilmiş olsa da, Döner (Rotary) PE ve Göreceli (Relative) PE, Absolute PE'yi geliştirmek için doğal dil işlemlerin'de alternatif olarak kullanılmaktadır. Ancak bunların arasından hangisinin zaman serisi anomali tespiti için en uygun seçim olduğu belirsizliğini korumaktadır. Bu çalışma, çok değişkenli zaman serisi anomali tespiti sorununa odaklanarak, Absolute PE, Rotary PE, ayrıca Relative PE'nin çeşitli versiyonlarını (Representative attention, Global attention ve XL-attention) hem performans hem de eğitim süresi açısından araştırmayı amaçlamaktadır. 8'den 128'e kadar değişen dizi uzunlukları üzerinden yapılan değerlendirme, Rotary PE'nin hem kısa hem de uzun diziler için daha hızlı eğitim süreleri sergilediğini ve ardından Absolute PE'nin geldiğini göstermektedir. Özellikle, Representative attention kısa dizilerde üstün performans sergilerken, Global attention, metrik değerlerine göre uzun dizilerde öne çıkıyor ve zaman serisi veri analizinde Transformer modellerinin oluşturulurken en uygun stratejilere ilişkin içgörüler sağlamaktadır.

Abstract:
In recent years, there has been an increase in the automation of industrial technologies due to the proliferation of Internet of Things devices; this has led to the generation of large amounts of data, particularly time series data characterized by highly variable features. Detecting anomalies in multivariate time series data poses a significant challenge for organizations as it requires identifying deviations from normal data trends. Deep learning algorithms have demonstrated superior performance in addressing such issues. Transformer neural networks, a recent advancement in deep learning, have emerged as state-of-the-art models. However, the main limitation faced by Transformers is accurately determining the precise position of each data point within a sequence. To overcome this challenge, developers of Transformers introduced Positional Encoding (PE) as an additional component. Although Absolute PE was initially proposed as part of the Transformer architecture in 2017, Rotary PE and Relative PE are also being utilized as alternatives in NLP to enhance Absolute PE. However, uncertainty remains regarding which of these is the most suitable choice for detecting anomalies in time series data. This study aims to investigate Absolute PE, Rotary PE, as well as various versions of Relative PE (Representative attention, Global attention, and XL-attention) in terms of both performance and training time, focusing on the problem of multivariate time series anomaly detection. Evaluation conducted on sequence lengths ranging from 8 to 128 indicates that Rotary PE exhibits faster training times for both short and long sequences, followed by Absolute PE. Particularly, Representative attention demonstrates superior performance in short sequences, while Global attention stands out for long sequences based on metric values, providing insights into the most suitable strategies for creating Transformer models in time series data analysis.