Detecting Green Software Engineering Skillsets using TURF Analysis
Creators: name: Νταούλας, Βασίλειος Κ.
Publisher: name: Aristotle University of Thessaloniki
Year: 2025
Subjects: Εξόρυξη Δεδομένων
Πράσινες Δεξιότητες
Ανάλυση TURF
Web Mining
Green Skills
TURF Analysis

description: The rapid development of digital transformation and the Internet has dramatically affected many spheres of life, including how individuals search for jobs and how businesses operate. The digital era has introduced vast amounts of structured and unstructured data, including text, images, and videos, fueling the growth of big data analytics. Organizations can increase productivity, cut expenses, and obtain strategic insights by properly collecting, processing, and analyzing this data. When it comes to the labor market, examining internet job advertisements can yield important information that helps close the knowledge gap between higher education and the changing demands of the workforce. This results in more efficient workforce development and policymaking. As more job posts are shared on online job portals, the web has become one of the most significant sources of labor market data. AI and machine learning techniques have been widely applied to labor market data to classify job vacancies, analyze resumes, and forecast employment trends. As a result, the field of labor market intelligence (LMI), which uses AI-driven analytics to provide real-time labor market information, has grown. By accelerating data-driven labor market evaluations, LMI enables dynamic, fact-based decision-making, in contrast to conventional survey-based labor market studies. Beyond data processing, technological advancements are reshaping job roles and employment patterns. New occupations are emerging, while others are disappearing, requiring workers to adapt to shifting demands. At the same time, global economic challenges, such as high youth unemployment in certain regions, highlight the need for improved labor market monitoring. AI and automation tools are expected to enhance productivity and economic growth, yet many workers will require skill upgrades or occupational shifts. The increasing reliance on web resources for job searching and recruitment presents an opportunity for real-time labor market monitoring. By analyzing job postings on the web, policymakers, businesses, and academics can gain deeper insights into the job market and its latest trends. This helps in making data-driven decisions about workforce planning, economic growth, and adjusting university curricula to meet industry needs. This thesis uses web scraping techniques to systematically gather job advertisements from several online job portals, resulting in a structured dataset of job vacancies and associated skills. Through advanced statistical techniques, such as TURF (Total Unduplicated Reach and Frequency) Analysis, we identify important skill combinations that frequently appear together in job descriptions. Our analysis provides important insights into the employment market, uncovering in-demand skill sets and their co-occurrence patterns. The findings can assist job seekers, educators, and policymakers in understanding labor market requirements, aligning training programs with industry demands, and revising university curricula to include the most relevant and emerging skills. Finally, our results highlight the emerging field of Sustainable AI and Green/Sustainable Software Engineering. We observed green skills being combined with software development skills and provided insights on how experts in the job market, universities, and online courses can adapt. Raising awareness of sustainability in the tech industry can drive the development of more energy-efficient, eco-friendly, and cost-effective solutions.
description: Η ταχεία ανάπτυξη του ψηφιακού μετασχηματισμού και του Διαδικτύου έχει επηρεάσει δραματικά πολλούς τομείς της ζωής, συμπεριλαμβανομένου του τρόπου με τον οποίο οι άνθρωποι αναζητούν εργασία και οι επιχειρήσεις λειτουργούν. Η ψηφιακή εποχή έχει εισαγάγει τεράστιες ποσότητες δομημένων και μη δομημένων δεδομένων, όπως κείμενο, εικόνες και βίντεο, ενισχύοντας την ανάπτυξη της ανάλυσης μεγάλων δεδομένων. Οι οργανισμοί μπορούν να αυξήσουν την παραγωγικότητα, να μειώσουν τα κόστη και να αποκτήσουν στρατηγικές πληροφορίες μέσω της σωστής συλλογής, επεξεργασίας και ανάλυσης αυτών των δεδομένων. Στην αγορά εργασίας, η μελέτη των διαδικτυακών αγγελιών προσφέρει πολύτιμες πληροφορίες που βοηθούν στη γεφύρωση του χάσματος μεταξύ της τριτοβάθμιας εκπαίδευσης και των συνεχώς μεταβαλλόμενων αναγκών του εργατικού δυναμικού. Αυτό οδηγεί σε πιο αποδοτικό σχεδιασμό της αγοράς εργασίας και στη βελτίωση της χάραξης πολιτικών. Καθώς όλο και περισσότερες αγγελίες δημοσιεύονται σε διαδικτυακές πλατφόρμες εύρεσης εργασίας, το διαδίκτυο έχει εξελιχθεί σε μία από τις σημαντικότερες πηγές δεδομένων για την αγορά εργασίας. Οι τεχνικές τεχνητής νοημοσύνης και μηχανικής μάθησης έχουν ευρεία εφαρμογή στην ανάλυση δεδομένων της αγοράς εργασίας, όπως η ταξινόμηση αγγελιών, η ανάλυση βιογραφικών και η πρόβλεψη τάσεων απασχόλησης. Έτσι, έχει αναπτυχθεί ο τομέας της Εργατικής Νοημοσύνης (Labour Market Intelligence - LMI), ο οποίος αξιοποιεί προηγμένες τεχνικές ανάλυσης δεδομένων για την παροχή έγκαιρων και αξιόπιστων πληροφοριών σχετικά με την αγορά εργασίας. Σε αντίθεση με τις παραδοσιακές έρευνες και στατιστικές μελέτες, η LMI επιτρέπει ταχύτερη και δυναμική λήψη αποφάσεων βασισμένων σε πραγματικά δεδομένα. Οι τεχνολογικές εξελίξεις, όμως, δεν αλλάζουν μόνο τον τρόπο επεξεργασίας δεδομένων, αλλά και τη φύση των επαγγελμάτων. Νέες ειδικότητες εμφανίζονται, ενώ άλλες εξαφανίζονται, δημιουργώντας την ανάγκη για προσαρμογή των εργαζομένων στις νέες απαιτήσεις. Παράλληλα, οι παγκόσμιες οικονομικές προκλήσεις, όπως η υψηλή ανεργία των νέων σε ορισμένες περιοχές, καθιστούν απαραίτητη τη βελτίωση της παρακολούθησης της αγοράς εργασίας. Παρότι η τεχνητή νοημοσύνη και ο αυτοματισμός αναμένεται να αυξήσουν την παραγωγικότητα και την οικονομική ανάπτυξη, πολλοί εργαζόμενοι θα χρειαστεί να αποκτήσουν νέες δεξιότητες ή να αλλάξουν επαγγελματική πορεία. Η αυξανόμενη εξάρτηση από διαδικτυακές πηγές για την αναζήτηση εργασίας και τη διαδικασία προσλήψεων δημιουργεί μια μοναδική ευκαιρία για την παρακολούθηση της αγοράς εργασίας σε πραγματικό χρόνο. Αναλύοντας τις αγγελίες εργασίας στο διαδίκτυο, οι υπεύθυνοι χάραξης πολιτικής, οι επιχειρήσεις και οι ερευνητές μπορούν να αποκτήσουν βαθύτερη κατανόηση της αγοράς και των νέων τάσεων. Αυτό επιτρέπει τη λήψη τεκμηριωμένων αποφάσεων για τον σχεδιασμό του εργατικού δυναμικού, την ενίσχυση της οικονομίας και την προσαρμογή των πανεπιστημιακών προγραμμάτων στις ανάγκες της αγοράς. Η παρούσα μελέτη χρησιμοποιεί τεχνικές web scraping για τη συστηματική συλλογή αγγελιών εργασίας από διάφορες διαδικτυακές πλατφόρμες, δημιουργώντας ένα δομημένο σύνολο δεδομένων που περιλαμβάνει θέσεις εργασίας και σχετικές δεξιότητες. Μέσω προηγμένων στατιστικών μεθόδων, όπως η ανάλυση TURF (Total Unduplicated Reach and Frequency), εντοπίζουμε σημαντικούς συνδυασμούς δεξιοτήτων που εμφανίζονται συχνά μαζί στις αγγελίες. Η ανάλυσή μας προσφέρει πολύτιμες πληροφορίες για την αγορά εργασίας, αποκαλύπτοντας τις πιο περιζήτητες δεξιότητες και τα μοτίβα συνύπαρξής τους. Τα ευρήματα μπορούν να βοηθήσουν τους εργαζομένους, τους εκπαιδευτικούς και τους υπεύθυνους χάραξης πολιτικής να κατανοήσουν καλύτερα τις απαιτήσεις της αγοράς, να ευθυγραμμίσουν τα προγράμματα κατάρτισης με τις ανάγκες των επιχειρήσεων και να ανανεώσουν τα πανεπιστημιακά προγράμματα με τις πιο σχετικές και αναδυόμενες δεξιότητες. Εν κατακλείδι, η μελέτη μας αναδεικνύει τον ανερχόμενο τομέα της Βιώσιμης Τεχνητής Νοημοσύνης και της Πράσινης/Βιώσιμης Μηχανικής Λογισμικού. Παρατηρήσαμε ότι οι «πράσινες» δεξιότητες συνδυάζονται όλο και περισσότερο με τον προγραμματισμό και αναλύσαμε πώς η αγορά εργασίας, τα πανεπιστήμια και οι διαδικτυακές εκπαιδευτικές πλατφόρμες μπορούν να προσαρμοστούν. Η ενίσχυση της ευαισθητοποίησης γύρω από τη βιωσιμότητα στον κλάδο της τεχνολογίας μπορεί να συμβάλει στην ανάπτυξη ενεργειακά αποδοτικών, οικολογικών και οικονομικά βιώσιμων λύσεων.