Αλληλεπίδραση Ανθρώπου Υπολογιστή σε Φυσική Γλώσσα μέσω Οντολογιών
Creators: name: Αντωνίου, Χριστίνα Ν.
Publisher: name: Aristotle University of Thessaloniki
Year: 2025
Subjects: Σημασιολογικά συστήματα ερωταποκρίσεων
μεγάλα γλωσσικά μοντέλα
Οντολογίες
Απαιτήσεις λογισμικού
Semantic question answering systems (sqas)
Large language models (llms)
Ontologies
Requirements specification ·

description: Η παρούσα διδακτορική διατριβή αφορά την μελέτη πάνω στην αλληλεπίδραση Ανθρώπου-Υπολογιστή χρησιμοποιώντας τη φυσική γλώσσα με την χρήση οντολογιών και γράφων γνώσης. Η έρευνα εστίασε σε δύο διαφορετικές περιπτώσεις αλληλεπίδρασης. Η πρώτη αφορά στην χρήση φυσικής γλώσσας για ερωτήσεις πάνω σε γράφους γνώσης, ενώ η δεύτερη στην χρήση φυσικής γλώσσας για την σημασιολογικά καθοδηγούμενη καταγραφή των απαιτήσεων ενός συστήματος. Και στις δύο περιπτώσεις αρωγός της αλληλεπίδρασης με φυσική γλώσσα αποτελεί μία οντολογία συγκεκριμένου πεδίου γνώσης. Στον Σημασιολογικό Ιστό, οι εξειδικευμένοι χρήστες που γνωρίζουν την γλώσσα SPARQL μπορούν να αναζητήσουν πληροφορίες στις βάσεις γνώσης και στους γράφους γνώσης. Όμως η πλειοψηφία των χρηστών που δεν γνωρίζει την γλώσσα SPARQL ουσιαστικά στερείται αυτής της δυνατότητας εκμετάλλευσης αυτής της γνώσης. Τα σημασιολογικά συστήματα ερωταποκρίσεων (Semantic Question Answering) είναι μία λύση σε αυτό το πρόβλημα. Σε αυτά τα συστήματα, οι χρήστες κάνουν ερωτήσεις σε φυσική γλώσσα χρησιμοποιώντας το δικό τους λεξιλόγιο, και λαμβάνουν μια απάντηση που δημιουργείται από την αναζήτηση σε μία (συνήθως) RDF βάση γνώσης. Η παρούσα διδακτορική διατριβή ανέλυσε διαφορετικά πλαίσια, αρχιτεκτονικές και συστήματα που επιτελούν SQA και τα ταξινόμησε με βάση διαφορετικά κριτήρια. Τα συστήματα SQA έχουν πολλά διαφορετικά βήματα προκειμένου να κατανοήσουν τις ερωτήσεις του χρήστη και να απαντήσουν στις ερωτήσεις. Για την κατανόηση και τη μετάφραση της ερώτησης του χρήστη σε ερώτημα SPARQL, χρησιμοποιούνται τεχνικές από την επεξεργασία φυσικής γλώσσας (natural language processing). Η ανάπτυξη τέτοιων συστημάτων είναι χρονοβόρα και κοστίζει πολύ. Μια άλλη λύση για το παραπάνω πρόβλημα είναι τα μεγάλα γλωσσικά μοντέλα (LLM). Σε αυτήν την διατριβή διερευνούμε ένα τέτοιο παράδειγμα αλληλεπίδρασης μεταξύ γράφων γνώσης και Μεγάλων Γλωσσικών Μοντέλων, δημιουργώντας ερωτήματα SPARQL από προτροπές του χρήστη σε φυσική γλώσσα και μια οντολογία, ως είσοδο, έτσι ώστε οι απαντήσεις σε αυτές τις ερωτήσεις να μπορούν να αναζητηθούν στον αντίστοιχο γράφο γνώσης (KG). Αναπτύξαμε μία περίπτωσης χρήσης της παραπάνω μεθοδολογίας για ερωτήσεις πάνω σε έναν γράφο γνώσης με εκπαιδευτικά δεδομένα της τριτοβάθμιας εκπαίδευσης στην Ελλάδα (δεδομένα Ευδόξου). Τα αποτελέσματα δείχνουν ότι τα LLM μπορούν πράγματι να βοηθήσουν προς αυτή την κατεύθυνση, δεδομένου του γεγονότος ότι τους ζητείται κάτι σωστά, χρησιμοποιώντας «σωστή» αγγλική γλώσσα. Παρουσιάζουμε, επίσης, μερικές πρακτικές συμβουλές που αντλήθηκαν από την εμπειρία με αυτό το πείραμα. Επίσης προτείνουμε μία πρωτότυπη μεθοδολογία συνδυασμού οντολογιών και προτύπων απαιτήσεων (boilerplates) για την σημασιολογικά καθοδηγούμενη καταγραφή των απαιτήσεων ενός συστήματος. Τα boilerplates είναι πρότυπα απαιτήσεων για τη συντακτική δομή απαιτήσεων προκειμένου να αντιμετωπίσουν το πρόβλημα της ασάφειας που δημιουργείται από τη χρήση της φυσικής γλώσσας και να διευκολύνουν τους μη έμπειρους χρήστες να δημιουργήσουν απαιτήσεις. Αξιοποιήσαμε τη σύνταξη της φυσικής γλώσσας των προτύπων αντιστοιχίζοντάς τα σε τριπλέτες RDF που έχουν επίσης παρόμοια σύνταξη με τα πρότυπα. Επίσης, παρουσιάζουμε την αξιολόγηση της προτεινόμενης μεθοδολογίας μέσω ενός πειράματος που πραγματοποιήθηκε με ανθρώπους-χρήστες. Σύμφωνα με τα αποτελέσματα της αξιολόγησης, ο μηχανικός απαιτήσεων (requirements engineer) μπορεί να χρησιμοποιήσει την οντολογία και το ελάχιστο σύνολο προτύπων χωρίς να χρειάζεται να μάθει κάτι παραπάνω για αυτά. Τέλος, αναπτύξαμε ένα εργαλείο λογισμικού που υλοποιεί την προταθείσα μεθοδολογία. Τα αποτελέσματα από το πείραμα κατέδειξαν ότι οι χρήστες που συμμετείχαν στο πείραμα δεν δυσκολεύτηκαν στην κατανόηση της μεθοδολογίας, ούτε στην επιλογή των κατάλληλων προτύπων για κάθε απαίτηση ή των κατάλληλων τιμών για τις παραμέτρους του προτύπου, μέσω του εργαλείου.
description: This doctoral thesis concerns the study of Human-Computer Interaction using natural language along with the aid of ontologies and knowledge graphs. The research focused on two different cases of interaction. The first concerns the use of natural language for questions on knowledge graphs, while the second concerns the use of natural language for semantically driven system requirements engineering. In both cases, natural language interaction is supported by a domain-specific ontology. In the Semantic Web, expert users who know how to use the SPARQL language can search for information in knowledge bases and graphs. However, the majority of users who find SPARQL difficult to learn are essentially deprived of the ability to exploit the knowledge present in these graphs. Semantic Question Answering (SQA) systems are a solution to this problem. In these systems, users ask questions in natural language using their own vocabulary, and receive an answer generated by searching (usually) an RDF knowledge base. This doctoral thesis analysed different frameworks, architectures and systems that perform SQA and classified them based on different criteria. SQA systems perform many different steps in order to understand the user’s questions and answer the questions. To understand and translate the user’s question into a SPARQL query, techniques from natural language processing are used. Developing such systems is time-consuming and expensive. Another solution to the above problem is Large Language Models (LLM). In this thesis we explore such an example of interaction between knowledge graphs and Large Language Models, generating SPARQL queries from user prompts in natural language, having an ontology as input, so that the answers to these questions can be searched in the corresponding Knowledge Graph (KG). We developed a use case of the above methodology for questions on a knowledge graph with educational data of higher education in Greece (Evdoxus data). The results show that LLMs can indeed help in this direction, given the fact that they are asked something accurately, using “correct” English. We also present some practical tips drawn from the experience with this experiment. We also propose an original methodology combining ontologies and requirements’ templates (aka boilerplates) for semantically driven system requirements engineering. Boilerplates are requirements’ templates that constrain the syntactic structure of requirements in order to address the problem of ambiguity created by the use of natural language and to facilitate non-experienced users to create requirements. We exploited the natural language syntax of the templates by mapping them to RDF triplets that have a similar syntax. We also present a user evaluation of the proposed methodology we have conducted. According to the results of the evaluation, the requirements engineer can effectively use the ontology and the minimum set of templates without having to learn anything more about them. Finally, we developed a software tool that implements the proposed methodology. The results from the user evaluation showed that the users who participated in the evaluation did not have any difficulty in understanding the methodology, nor in choosing the appropriate templates for each requirement or the appropriate values for the template parameters, through the software tool.