Statistical methods for analysis of data from texts related to information security and technological trends
Creators: name: Χαρμάνας, Κωνσταντίνος Δ.
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Ανάλυση δεδομένων
Ασφάλεια πληροφοριών
Τεχνολογικές πατέντες
Μέσα κοινωνικής δικτύωσης
Data science
Information security
Technological patents
Online social networks

description: Ο κύριος σκοπός της διατριβής είναι να προσφέρει χρήσιμες πληροφορίες και προσεγγίσεις εξερευνώντας σύνολα δεδομένων που σχετίζονται με την ασφάλεια πληροφοριών και πρόσφατες τεχνολογικές τάσεις. Οι μεθοδολογίες που αναπτύσσονται γι’ αυτό το σκοπό βασίζονται κυρίως σε τεχνικές επεξεργασίας φυσικής γλώσσας και μεθόδους στατιστικής ανάλυσης. Παράλληλα, ένας από τους βασικούς στόχους της κάθε ερευνητικής μελέτης εντός της διατριβής είναι η εξαγωγή θεματολογιών, ενώ η κύρια θεμελιώδης αρχή τους είναι να συνεισφέρουν στην επιστημονική κοινότητα επεκτείνοντας τις προ υπάρχουσες σχετικές μελέτες. Επιπλέον, μια εφαρμογή που ονομάζεται Click Text Mining Tool (ClickTMtool) αποτελεί επίσης ένα από τα βασικά στοιχεία της διατριβής. Στο σύνολο της, η εφαρμογή ClickTMtool προσφέρει λειτουργίες για την αξιοποίηση των περισσότερων μεθοδολογιών που συνεισφέραν και εφαρμόστηκαν στην παρούσα διατριβή. Το πρώτο ερευνητικό πεδίο της διατριβής αφορά ευπάθειες και εκμεταλλεύσεις ασφαλείας, όπου εξερευνώνται οι ιδιότητες εκμεταλλεύσιμων και μη-εκμεταλλεύσιμων ευπαθειών χρησιμοποιώντας αποκλειστικά περιγραφές κειμένου. Οι σχετικές αναλύσεις δείχνουν πως οι πληροφορίες κειμένου προσφέρουν χρήσιμη πληροφορία για την πρόβλεψη και αξιολόγηση ευπαθειών, ενώ παράλληλα, παρουσιάζονται οι λέξεις και οι θεματολογίες που συσχετίζονται με συχνές ή σπάνιες εκμεταλλεύσεις. Αδιαμφησβήτητα, η παρούσα διατριβή συμβάλει στο σχετικό ερευνητικό πεδίο προσφέροντας πληροφορίες για την εύρεση και την κατανόηση χαρακτηριστικών που συνδέονται με εκμεταλλεύσεις ευπαθειών. Το δεύτερο ερευνητικό πεδίο της διατριβής είναι η ανάλυση πατεντών, η οποία είναι μια διαδικασία ανάλυσης τεχνολογιών με απώτερο σκοπό την ανακάλυψη γνώσης μέσα από σχετικά σύνολα δεδομένων. Οι περιοχές που εξερευνώνται αφορούν τις ευπάθειες ασφαλείας και τα δίκτυα οικιακού αυτοματισμού και εξερευνώνται μέσα από δύο ανεξάρτητες ερευνητικές εργασίες. Οι βασικές προκλήσεις που αντιμετωπίζονται είναι η ανακάλυψη θεματολογιών μέσα από ένα σύνολο πατεντών, η αξιολόγηση της επιρροής μια τεχνολογίας καθώς επίσης και η αναγνώριση της σχετικής θέσης/τοποθέτησης των ενδιαφερόμενων (οργανισμών και ατόμων) μέσα στα τεχνολογικά πεδία. Συνολικά, οι δύο εργασίες συνεισφέρουν στην εύρεση των κύριων επενδυτών-ανταγωνιστών και ανακαλύψεων και μπορούν να μελετηθούν για την ανάπτυξη καινοτομιών και τη σχεδίαση στρατηγικών ανταγωνισμού. Το τρίτο ερευνητικό πεδίο αφορά τα μέσα κοινωνικής δικτύωσης. Στην παρούσα διατριβή, οι μελέτες που παρουσιάζονται αφορούν πληροφορίες αναρτήσεων που προέρχονται από τις πλατφόρμες Reddit, Stack Overflow, και Twitter/X. Οι πλατφόρμες αυτές εξερευνώνται για την ανάλυση αναρτήσεων που αφορούν την ασφάλεια πληροφοριών, την τεχνολογία ChatGPT και την ειδησεογραφία κυβερνοασφάλειας, αντίστοιχα. Οι κοινοί στόχοι των εργασιών αυτών είναι η εξερεύνηση και η αναγνώριση των σχετικών θεματολογιών που χαρακτηρίζουν το κάθε σύνολο αναρτήσεων, ενώ παράλληλα, αναλύονται συνδυαστικά και οι διάφορες μετρήσεις που καταγράφουν αλληλεπιδράσεις χρηστών. Αρχικά, τα πειράματα που παρουσιάζονται οδηγούν στην αναγνώριση των ενδιαφερόντων και δραστηριοτήτων των χρηστών όπως εκφράζονται μέσα από τις θεματολογίες που συζητούνται στα τρία κοινωνικά δίκτυα. Επιπλέον, η ανάλυση των αλληλοεπιδράσεων των χρηστών βοηθάει στην περαιτέρω αξιολόγηση της δημοτικότητας, δυσκολίας και συνολικής αποδοχής των θεματολογιών στα διάφορα πεδία που μελετώνται. Συνολικά, οι μεθοδολογίες που αναπτύχθηκαν βασίζονται σε αλγορίθμους που στοχεύουν σε υψηλότερα επίπεδα αποδοτικότητας συγκριτικά με τις προ υπάρχουσες βασικές προσεγγίσεις. Για αυτό το λόγο, οι διάφορες τεχνικές που παρουσιάζονται στη διατριβή προσφέρουν ενδιαφέρουσες ιδέες και εναλλακτικές προσεγγίσεις για μελλοντική έρευνα που μπορούν να προσαρμοστούν σε διαφορετικούς τύπους και αναπαραστάσεις δεδομένων καθώς επίσης και ποικίλους ερευνητικούς στόχους.
description: The main purpose of the Thesis is to offer insights and solutions on different areas of interest associated with information security and technological trends by utilizing data analysis frameworks, focusing primarily on Statistical Natural Language Processing techniques. One of the primary tasks of each research study included in the Thesis encompasses approaches for topic extraction. Also, a fundamental principle of the Thesis is to contribute to the research community by extending current knowledge baselines offered by previous research. In addition, a complete application (or tool) described as Click Text Mining tool (ClickTMtool) is also part of the Thesis. This tool provides functionalities for most of the key algorithms and workflows surrounding the experiments presented in this Thesis. Τhe first research field of the Thesis is associated with security vulnerabilities and exploits where exploitable and non-exploitable vulnerabilities are explored, with the exclusive use of vulnerability descriptions. The respective analysis shows that this feature indeed includes information that can lead to predicting/assessing the exploitability of vulnerabilities. At the same time, multiple words and topics with high exploitability are addressed and presented in the process. Nevertheless, the Thesis contributes to this research field by producing explainable outcomes for understanding vulnerability features frequently associated with exploits. The second research field is described as patent analysis, which is the process of analyzing patented technologies to provide knowledge on landscapes characterizing patent datasets. The investigated areas are related to security vulnerabilities and home automation networks. The main tasks addressed in this Thesis are the identification of the main themes covering a patent dataset, the value or influence assessment of an individual technology as well as the evaluation of the technological position of stakeholders within an area of interest. In summary, the studies contribute to distinguishing key competitors and technologies that can be studied by researchers and organizations for developing impactful innovations as well as designing competitive strategies. The third research field concerns online social networks. In this Thesis, the investigated content and numerical features are related to posts from the Reddit, Stack Overflow, and Twitter/X platforms. These platforms are investigated to provide insights on information security-related discussions, queries associated with ChatGPT, and posts of security news, respectively. The common tasks in these studies are the exploration and identification of relevant themes characterizing each dataset of posts coming from these networks while also, additional metadata properties concerning user interactions are analyzed as well. The findings from the respective analysis first help to demystify the key themes reflecting on user interests and experiences. Also, the meta-analysis of user interactions leads to evaluating the overall approval, popularity, difficulty, and tension to interact associated with these key themes within an investigated domain. In total, the developed frameworks are built upon algorithms aiming to facilitate advancements for an individual task compared to the existing baselines. As a result, these frameworks offer interesting directions and options as well as ideas for future research that can be adapted to different data types and representations as well as research goals. Περίληψη