In data analysis, anomaly detection (also referred to as outlier detection and sometimes as novelty detection) is generally understood to be the identification of rare items, events or observations which deviate significantly from the majority of the data and do not conform to a well defined notion of normal behavior.
Dalam analisis data, deteksi anomali (juga disebut deteksi outlier dan terkadang deteksi kebaruan) secara umum dipahami sebagai identifikasi item, peristiwa, atau observasi langka yang menyimpang secara signifikan dari mayoritas data dan tidak sesuai dengan gagasan perilaku normal yang terdefinisi dengan baik.
Anomaly detection finds application in many domains including cybersecurity, medicine, machine vision, statistics, neuroscience, law enforcement and financial fraud to name only a few.
Deteksi anomali dapat diterapkan di banyak domain, termasuk keamanan siber, kedokteran, visi mesin, statistika, ilmu saraf, penegakan hukum, dan penipuan keuangan, dan masih banyak lagi.
Anomalies were initially searched for clear rejection or omission from the data to aid statistical analysis, for example to compute the mean or standard deviation.
Anomali awalnya dicari untuk mendeteksi penolakan atau penghilangan yang jelas dari data guna membantu analisis statistik, misalnya untuk menghitung rata-rata atau deviasi standar.
However, in many applications anomalies themselves are of interest and are the observations most desirous in the entire data set, which need to be identified and separated from noise or irrelevant outliers.
Namun, dalam banyak aplikasi, anomali itu sendiri menarik dan merupakan observasi yang paling diinginkan di seluruh set data, yang perlu diidentifikasi dan dipisahkan dari noise atau outlier yang tidak relevan.
Three broad categories of anomaly detection techniques exist.
Terdapat tiga kategori luas teknik deteksi anomali.
Supervised anomaly detection techniques require a data set that has been labeled as "normal" and "abnormal" and involves training a classifier.
Teknik deteksi anomali tersupervisi memerlukan kumpulan data yang telah diberi label "normal" dan "abnormal" dan melibatkan pelatihan pengklasifikasi.
However, this approach is rarely used in anomaly detection due to the general unavailability of labelled data and the inherent unbalanced nature of the classes.
Namun, pendekatan ini jarang digunakan dalam deteksi anomali karena data berlabel umumnya tidak tersedia dan sifat kelas yang tidak seimbang.
Semi-supervised anomaly detection techniques assume that some portion of the data is labelled.
Teknik deteksi anomali semi-supervisi mengasumsikan bahwa sebagian data diberi label.
This may be any combination of the normal or anomalous data, but more often than not, the techniques construct a model representing normal behavior from a given normal training data set, and then test the likelihood of a test instance to be generated by the model.
Ini dapat berupa kombinasi data normal atau anomali, tetapi lebih sering, teknik ini membangun model yang merepresentasikan perilaku normal dari kumpulan data pelatihan normal yang diberikan, lalu menguji kemungkinan instans uji yang akan dihasilkan oleh model tersebut.
Unsupervised anomaly detection techniques assume the data is unlabelled and are by far the most commonly used due to their wider and relevant application.
Teknik deteksi anomali tak tersupervisi mengasumsikan data tidak berlabel dan sejauh ini merupakan yang paling umum digunakan karena penerapannya yang lebih luas dan relevan.
Dynamic networks, such as those representing financial systems, social media interactions, and transportation infrastructure, are subject to constant change, making anomaly detection within them a complex task.
Deteksi anomali dalam jaringan dinamis seperti jaringan yang mewakili sistem keuangan, interaksi media sosial, dan infrastruktur transportasi yang selalu mengalami perubahan.
Unlike static graphs, dynamic networks reflect evolving relationships and states, requiring adaptive techniques for anomaly detection.
Berbeda dengan grafik statis, jaringan dinamis mencerminkan hubungan dan keadaan yang berkembang, sehingga memerlukan teknik adaptif untuk mendeteksi anomali.