Bias characterization and mitigation in Internet routing monitoring
Creators: name: Κώστογλου, Σοφία Μαργαρίτη
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Μεροληψία στην παρακολούθηση του Διαδικτύου
Πλατφόρμες παρακολούθησης Διαδικτύου
Μείωση της μεροληψίας με τη χρήση μηχανικής μάθησης
Bias in Internet monitoring
Internet monitoring platforms
Bias mitigation using machine learning

description: Η επίβλεψη διϰτύων αναφέρεται στην πραϰτιϰή της παραϰολούϑησης διϰτύων υπολογι- στών, για τον εντοπισµό ϰαι την αναγνώριση προβληµάτων, ανωµαλιών ϰαι απειλών στην ασφάλεια τους. Περιλαµβάνει τη συλλογή ϰαι ανάλυση της ϰυϰλοφορίας των δεδοµένων, για τον εντοπισµό ϰαι τη διάγνωση προβληµάτων, ϰαϑώς ϰαι για τη βελτιστοποίηση της απόδοσης του διϰτύου. Ο στόχος της επίβλεψης διϰτύων είναι να διασφαλίσει ότι το δίϰτυο λειτουργεί σωστά ϰαι αποτελεσµατιϰά, µε ελάχιστο χρόνο διαϰοπής λειτουργίας ϰαι µέγι- στη ασφάλεια. Η υποδοµή της επίβλεψης διϰτύων, που παρέχονται από οργανισµούς όπως οι RIPE NCC, RouteViews ϰ.λπ., είναι απαραίτητη για τους παρόχους διϰτύου, ϰαϑώς τους επιτρέπει να εντοπίζουν ϰαι να διαγιγνώσϰουν ζητήµατα ή ανωµαλίες στο δίϰτυο, ϰαϑώς ϰαι για τους ερευνητές, παρέχοντάς τους πολύτιµες πληροφορίες σχετιϰά µε την απόδοση του διϰτύου ή του συστήµατος µε την πάροδο του χρόνου. Χωρίς την επίβλεψη διϰτύων, ϑα είχαµε περιορισµένη ορατότητα στο διαδίϰτυο ϰαι ϑα ήταν αδύνατη η προληπτιϰή διαχε- ίριση ϰαι βελτιστοποίησή του. Ωστόσο, υπάρχει µεροληψία σε αυτή την επίβλεψη διϰτύων, ϰαϑώς η ϰατανοµή της υποδοµής της δεν είναι οµοιόµορφη στην υφήλιο. Γίνεται σαφές λοιπόν, το πόσο σηµαντιϰό είναι να αναγνωρίσουµε αυτήν την πιϑανή µεροληψία ϰαι να λάβουµε µέτρα για την αντιµετώπιση της. Αυτό µπορεί να περιλαµβάνει τη χρήση πολλα- πλών πηγών δεδοµένων, συµπεριλαµβανοµένων δεδοµένων από διαφορετιϰές περιοχές ϰαι διαφορετιϰούς τύπους υποδοµής επίβλεψης, ϰαι έχοντας επίγνωση των περιορισµών ϰαι των πιϑανών µεροληψιών αυτών των δεδοµένων που αναλύονται. Ενώ η επίβλεψη διϰτύων είναι µεγάλης αξίας, ϰαι χρησιµοποιείται ευρέως, υπάρχουν µόνο λίγα ερευνητιϰά έργα σχετιϰά µε το πώς µπορούν οι πλατφόρµες παραϰολούϑησης να είναι αµερόληπτες ή πού ϑα πρέπει να αναπτυχϑούν νέες υποδοµές, προϰειµένου να αποφευχϑεί πιϑανή µεροληψία. Σε αυτή τη διατριβή, µελετάµε αυτό το ϑέµα λεπτοµερώς, δηλώνουµε τη σηµασία της εξοιϰείωσης µε την ύπαρξη µεροληψίας, αναλύοντάς την λεπτοµερώς ϰαι οπτιϰοποιώντας την, χρησιµοποιώντας δεδοµένα από διάφορες πλατφόρµες, ϰαι τέλος προσπαϑώντας να βρούµε τρόπους για την αντιµετώπισή του, προτείνοντας µεϑόδους χωρίς επίβλεψη για την ελαχιστοποίησή της.
description: Network monitoring is the practice of monitoring a computer network to detect and identify issues, anomalies, and security threats. It involves the collection and analysis of network traf- fic data, to identify and diagnose problems, as well as to optimize network performance and availability. The goal of network monitoring is to ensure that the network operates efficiently and effectively, with minimal downtime and maximum security. The monitor infrastructure provided by organizations such as RIPE NCC, RouteViews, etc, is very important to network operators, as it allows them to detect and diagnose issues or anomalies in the network, as well as researchers, providing them valuable insights into network or system performance over time. Without monitoring, we would have limited visibility into the network or system and it would be impossible to proactively manage and optimize it. However, there is bias in this monitoring infrastructure, as the distribution of vantage points (monitors) is not evenly spread across the globe. Hence, it is important to understand the potential bias and take steps to mit- igate it, when analyzing monitoring data. This may include using multiple sources of data, including data from different regions and different types of monitoring infrastructure, and be- ing aware of the limitations and potential biases of the data being analyzed. While monitoring is important and used widely, there are only a few works on how the monitoring platforms can be unbiased, or where should new monitors be deployed in order to avoid potential bias. In this thesis, we study this topic in detail, state the importance of being familiar with the existence of bias, by analyzing it in detail and visualizing it in a variety of platforms, and try to find ways to deal with it, by proposing unsupervised methods to minimize it.