Statistical methods for analysis of data from texts related to information security and technological trends
Authors: Χαρμάνας Κωνσταντίνος 
Published: January 2025

Ο κύριος σκοπός της παρούσας διατριβής είναι να προσφέρει χρήσιμες πληροφορίες και προσεγγίσεις εξερευνώντας σύνολα δεδομένων που σχετίζονται με την ασφάλεια πληροφοριών και πρόσφατες τεχνολογικές τάσεις. Οι μεθοδολογίες που αναπτύσσονται γι’ αυτό το σκοπό βασίζονται κυρίως σε τεχνικές επεξεργασίας φυσικής γλώσσας και μεθόδους στατιστικής ανάλυσης. Παράλληλα, ένας από τους βασικούς στόχους της κάθε ερευνητικής μελέτης εντός της διατριβής είναι η εξαγωγή θεματολογιών με τη χρήση τεχνικών μοντελοποίησης θεματολογιών και συσταδοποίησης δεδομένων. Επιπλέον, μια θεμελιώδης αρχή της κάθε μελέτης είναι να συνεισφέρει στην επιστημονική κοινότητα και στα επιμέρους ερευνητικά πεδία επεκτείνοντας τις προ υπάρχουσες σχετικές μελέτες και εργασίες. Τα ερευνητικά πεδία και οι αντίστοιχοι τύποι δεδομένων που εξετάστηκαν στα πλαίσια της διατριβής είναι οι εξής: (i) ευπάθειες και εκμεταλλεύσεις ασφαλείας, (ii) τεχνολογικές πατέντες, (iii) μέσα κοινωνικής δικτύωσης. Τα κοινά χαρακτηριστικά μεταξύ των τριών τύπων είναι οι περιγραφές κειμένου και οι διάφορες αριθμητικές ιδιότητες που χαρακτηρίζουν τα σχετικά δεδομένα, π.χ. ημερομηνίες, μετρήσεις. Επιπλέον, οι βασικές διαφορές μεταξύ τους αφορούν τους δημιουργούς, τη σημασία και την πιθανή αξιοποίηση των σχετικών δεδομένων. Εκτός από τις μεθοδολογίες ανάλυσης δεδομένων που αναπτύχθηκαν, μια εφαρμογή που ονομάζεται Click Text Mining Tool (ClickTMtool) αποτελεί επίσης ένα από τα βασικά στοιχεία της διατριβής. Στο σύνολο της, η εφαρμογή ClickTMtool προσφέρει λειτουργίες για την αξιοποίηση των περισσότερων μεθοδολογιών που συνεισφέραν και εφαρμόστηκαν στην παρούσα διατριβή. Όσον αφορά το πρώτο ερευνητικό πεδίο, μια από τις πιο σημαντικές προκλήσεις στη σχετική βιβλιογραφία είναι η αξιολόγηση ευπαθειών ασφαλείας με τη χρήση διαφορετικών ιδιοτήτων και πηγών δεδομένων για την ιεράρχηση κυβερνοαπειλών. Στην παρούσα διατριβή, η ύπαρξη μεθοδολογιών που μπορούν να οδηγήσουν στην εκμετάλλευση μιας ευπάθειας, και κατ’ επέκταση ενός συστήματος, αποτελεί το βασικό χαρακτηριστικό που χρησιμοποιείται για την αξιολόγηση ευπαθειών ασφαλείας. Με βάση αυτό το χαρακτηριστικό, δημιουργείται μια ιδιότητα που προσδιορίζει κάθε ευπάθεια ως εκμεταλλεύσιμη η μη-εκμεταλλεύσιμη με σκοπό να μελετηθούν οι βασικές διαφορές μεταξύ τους. Όσον αφορά τη μελέτη εκμεταλλεύσεων, η ανάπτυξη μοντέλων πρόβλεψης αποτελεί το βασικό αντικείμενο της ερευνητικής κοινότητας για την αξιολόγηση και την ιεράρχηση ευπαθειών. Επίσης, η ανάλυση χαρακτηριστικών που συσχετίζονται με ευπάθειες μεγάλης επικινδυνότητας αποτελεί εξίσου ένα σημαντικό πεδίο ενδιαφέροντος για την ενίσχυση της ασφάλειας συστημάτων. Συνολικά, η παρούσα διατριβή εξερευνά τις ιδιότητες εκμεταλλεύσιμων και μη-εκμεταλλεύσιμων ευπαθειών χρησιμοποιώντας αποκλειστικά τις περιγραφές τους από έγκυρες πήγες δεδομένων. Οι σχετικές αναλύσεις δείχνουν πως οι πληροφορίες κειμένου προσφέρουν χρήσιμη πληροφορία για την πρόβλεψη και αξιολόγηση ευπαθειών, ενώ παράλληλα, παρουσιάζονται οι λέξεις και οι θεματολογίες που συσχετίζονται με συχνές ή σπάνιες εκμεταλλεύσεις. Αδιαμφησβήτητα, η παρούσα διατριβή συμβάλει στο σχετικό ερευνητικό πεδίο προσφέροντας πληροφορίες για την εύρεση και την κατανόηση χαρακτηριστικών που συνδέονται με εκμεταλλεύσεις ευπαθειών, εστιάζοντας αποκλειστικά σε περιγραφές κειμένου δίχως την απαίτηση άλλων ιδιοτήτων. Το δεύτερο ερευνητικό πεδίο της διατριβής είναι η ανάλυση πατεντών, η οποία είναι μια διαδικασία ανάλυσης τεχνολογιών, που καλύπτονται από δικαιώματα πατεντών και αφορούν συνήθως ένα συγκεκριμένο πεδίο ενδιαφέροντος, με απώτερο σκοπό την ανακάλυψη γνώσης μέσα από σχετικά σύνολα δεδομένων. Γενικότερα, τα δεδομένα πατεντών εκφράζουν τα τεχνολογικά ενδιαφέροντα και τις επενδύσεις τόσο μεγάλων όσο και μικρών οργανισμών. Επομένως, μια ανάλυση πατεντών μπορεί να οδηγήσει στην αναγνώριση των αναγκών της αγοράς καθώς επίσης και στην ανακάλυψη καινοτομιών και αναδυόμενων τεχνολογιών. Εφόσον υπάρχουν πολλές τεχνολογικές περιοχές και αντίστοιχες σχετικές μελέτες, στην παρούσα διατριβή επιλέχθηκαν περιοχές που δεν έχουν εξερευνηθεί εις βάθος στο παρελθόν. Οι περιοχές αυτές αφορούν τις ευπάθειες ασφαλείας και τα δίκτυα οικιακού αυτοματισμού και εξερευνώνται μέσα από δύο ανεξάρτητες ερευνητικές εργασίες. Οι βασικές προκλήσεις που αντιμετωπίζονται είναι η ανακάλυψη θεματολογιών μέσα από ένα σύνολο πατεντών, η αξιολόγηση της επιρροής μια τεχνολογίας καθώς επίσης και η αναγνώριση της σχετικής θέσης/τοποθέτησης των ενδιαφερόμενων (οργανισμών και ατόμων) μέσα στα τεχνολογικά πεδία. Συνολικά, οι δύο εργασίες συνεισφέρουν στην εύρεση των κύριων επενδυτών-ανταγωνιστών και ανακαλύψεων και μπορούν να μελετηθούν για την ανάπτυξη καινοτομιών και τη σχεδίαση στρατηγικών ανταγωνισμού με βάση την κατάσταση της κάθε τεχνολογικής περιοχής. Το τρίτο ερευνητικό πεδίο αφορά τα μέσα κοινωνικής δικτύωσης. Στην παρούσα διατριβή, οι μελέτες που παρουσιάζονται αφορούν κυρίως πληροφορίες κειμένου, όπως οι τίτλοι ερωτήσεων και τα σχετικά σχόλια-απαντήσεις, και αριθμητικές ιδιότητες, όπως η ημερομηνία ανάρτησης και ο αριθμός αλληλεπιδράσεων, που προέρχονται από αναρτήσεις χρηστών στα μέσα κοινωνικής δικτύωσης. Σε αυτήν την περίπτωση, τα δεδομένα που εξερευνώνται διαφέρουν σημαντικά από τους δύο προηγούμενους τύπους δεδομένων, οπότε πρέπει να μελετηθούν αντίστοιχα. Τα περιεχόμενα και οι ιδιότητες των αναρτήσεων ενός κοινωνικού δικτύου συσχετίζονται κυρίως με τα ενδιαφέροντα, τις απορίες και τις αλληλεπιδράσεις χρηστών, ενώ οι προηγούμενοι τύποι δεδομένων αφορούν κυρίως αδυναμίες ασφαλείας και τεχνολογικές επενδύσεις. Οι πληροφορίες των αναρτήσεων στα μέσα κοινωνικής δικτύωσης μπορούν να αποδειχθούν χρήσιμες για διάφορους ερευνητικούς στόχους που αφορούν κυρίως την αξιολόγηση χρηστών του διαδικτύου και τον προσδιορισμό θεματικών τάσεων. Εκτός από αυτά τα πεδία ενδιαφέροντος, οι αναρτήσεις στα μέσα κοινωνικής δικτύωσής μπορούν να χρησιμοποιηθούν για την επίλυση κάποιων πιο περίπλοκων ζητημάτων, όπως είναι η αυτόματη παραγωγή περιεχομένου και απαντήσεων καθώς και η ανάπτυξη προγνωστικών μοντέλων. Στην παρούσα διατριβή, οι πλατφόρμες Reddit, Stack Overflow, και Twitter/X αποτελούν τις κύριες πηγές δεδομένων για την ανάλυση αναρτήσεων που αφορούν την ασφάλεια πληροφοριών, την τεχνολογία ChatGPT και την ειδησεογραφία κυβερνοασφάλειας, αντίστοιχα. Οι κοινοί στόχοι των εργασιών αυτών είναι η εξερεύνηση και η αναγνώριση των σχετικών θεματολογιών που χαρακτηρίζουν το κάθε σύνολο αναρτήσεων, ενώ παράλληλα, αναλύονται συνδυαστικά και οι διάφορες μετρήσεις που καταγράφουν αλληλεπιδράσεις χρηστών. Αρχικά, τα πειράματα που παρουσιάζονται οδηγούν στην αναγνώριση των ενδιαφερόντων και δραστηριοτήτων των χρηστών όπως εκφράζονται μέσα από τις θεματολογίες που συζητούνται στα τρία κοινωνικά δίκτυα. Επιπλέον, η ανάλυση των αλληλοεπιδράσεων των χρηστών βοηθάει στην περαιτέρω αξιολόγηση της δημοτικότητας, δυσκολίας και συνολικής αποδοχής των θεματολογιών στα διάφορα πεδία που μελετώνται. Όπως και προηγουμένως, οι μελέτες εστιάζουν σε ζητήματα και πεδία που δεν είχαν εξερευνηθεί στη σχετική βιβλιογραφία έως τώρα, αφού ένας από τους στόχους της διατριβής είναι η προσφορά χρήσιμων πληροφοριών που μπορούν να συνεισφέρουν στην ερευνητική κοινότητα και τους χρήστες του διαδικτύου. Θα πρέπει να αναφερθεί πως στην περίπτωση των ερωτήσεων που αφορούν την τεχνολογία ChatGPT, ο στόχος της αντίστοιχης μελέτης είναι η παροχή ενός ευέλικτου εργαλείου για την ανάλυση θεματολογιών και τάσεων και όχι η αποκλειστική ανάλυση ερωτήσεων αυτού του είδους. Ως αποτέλεσμα, ο στόχος αυτής της μελέτης είναι να προσφέρει μηχανισμούς για την εξόρυξη και την ανάλυση ερωτήσεων που προέρχονται από το Stack Overflow και τις κοινότητες τους Stack Exchange γενικότερα. Συνοψίζοντας, πέρα από τα ευρήματα των επιμέρους εργασιών, η παρούσα διατριβή εφαρμόζει μεθοδολογίες για την αντιμετώπιση σημαντικών προκλήσεων οι οποίες δεν επιδέχονται μοναδική λύση σύμφωνα με τη σχετική βιβλιογραφία. Συνολικά, οι μεθοδολογίες που αναπτύχθηκαν βασίζονται σε αλγορίθμους που στοχεύουν σε υψηλότερα επίπεδα αποδοτικότητας συγκριτικά με τις προ υπάρχουσες βασικές προσεγγίσεις. Για αυτό το λόγο, οι διαφορετικές τεχνικές που παρουσιάζονται στη διατριβή προσφέρουν ενδιαφέρουσες ιδέες και εναλλακτικές προσεγγίσεις για μελλοντική έρευνα που μπορούν να προσαρμοστούν σε διαφορετικούς τύπους και αναπαραστάσεις δεδομένων καθώς επίσης και ποικίλους ερευνητικούς στόχους.