title: Graph-based methods for user intent classification
Creators: name: Kurteshi, Mal
Publisher: name: TU Wien
Year: 2023
Subjects: subject: Universal Dependencies
subject: NLP
subject: XAI
subject: BERT
subject: Syntactic Graphs
subject: SVM
subject: Machine Learning
subject: Hybrid System
subject: Rule-based System
subject: Deep Learning

description: In dieser Masterarbeit stellen wir ein hybrides System zur Absichtsklassifizierung vor,das auf einer auf einer syntaktischen Graphendarstellung natürlicher Sprache basiert.Unser Ziel war es, ein System zu entwickeln, das die Stärken von regelbasierten Ansätzenmit Modellen des maschinellen Lernens, insbesondere Support Vector Machines (SVM)und Bidirectional Encoder-Repräsentationen von Transformatoren (BERT).Unser Ziel war es, ein System zu entwickeln, das Benutzerabsichten in natürlicher Sprachegenau klassifizieren kann. Sprache klassifiziert.Um die Wirksamkeit des Systems zu bewerten, haben wir sowohl qualitative als auchquantitative Methoden.Die qualitative Analyse konzentrierte sich auf die Darstellung des syntaktischen Graphenund seine Fähigkeit, komplexe komplexe Sprachstrukturen zu erfassen.Wir fanden heraus, dass die syntaktische Graphendarstellung die semantische Bedeutungdes Bedeutung des Eingabetextes zu erfassen, was eine genaue Klassifizierung der Absichtermöglichte.Das regelbasierte System, das auf der Darstellung des syntaktischen Graphen basiertebei einigen Absichten gut, bei anderen jedoch weniger gut.Deshalb haben wir ein Hybridsystem entwickelt, das den regelbasierten Ansatz mitmaschinellen Lernmodellen kombiniert.Die quantitative Analyse ergab, dass das SVM-Modell versteckte Verzerrungen gegenüberbestimmten Absichten hatte, was seine Gesamtleistung beeinträchtigte.Andererseits schnitt das BERT-Modell besser ab als das SVM-Modell, mit einem leichtenUnterschied zum Hybridmodell.Das Hybridsystem war in der Lage, die Stärken des regelbasierten Ansatzes und derModelle des maschinellen Lernens zu kombinieren, was zu einer verbesserten Leistung inallen Intents führte.Unsere Ergebnisse unterstreichen die Bedeutung der qualitativen Analyse bei der Entwicklungeffektiver Systeme zur Verarbeitung natürlicher Sprache.Wenn wir die syntaktische Struktur der natürlichen Sprache verstehen, können wir bessereModelle erstellen die die Bedeutung des Eingabetextes genau erfassen.Darüber hinaus zeigt das von uns entwickelte Hybridsystem, dass es die Genauigkeit und Robustheit von Systemen zur Klassifizierung von Absichten verbessern kann.Zusammenfassend lässt sich sagen, dass unsere Arbeit einen Einblick in die Effektivität eines hybriden Systems zur das die Stärken von regelbasierten und maschinellen Lernansätzen kombiniert.Ansätze kombiniert.Die Ergebnisse dieser Studie haben praktische Auswirkungen auf die Entwicklung von genaueren und robusteren und robusten Systemen zur Absichtsklassifikation, die die Leistung verschiedener Anwendungen für natürliche Sprache verbessern können.Unsere Arbeit trägt zu den laufenden Bemühungen bei, Systeme zur Verarbeitung natürlicher Sprache zu entwickeln Systeme zu entwickeln, die die Absichtsklassifikation genau und effektiv verarbeiten können.
description: In this master’s thesis, we present a Hybrid system for intent classification based on asyntactic graph representation of natural language.We aimed to create a system that combined the strengths of rule-based approaches withmachine learning models, specifically Support Vector Machines (SVM) and BidirectionalBidirectional Encoder Representations from Transformers (BERT).Our goal was to develop a system that could accurately classify user intents in naturallanguage.We used qualitative and quantitative methods to evaluate the system’s effectiveness.The qualitative analysis focused on syntactic graph representation and its ability tocapture complex language structures.We found that the syntactic graph representation effectively captured the semanticmeaning of the input text, enabling accurate intent classification.However, based on the syntactic graph representation, the rule-based system performedwell on some intents but was less effective on others.Therefore, we developed a Hybrid system that combined the rule-based approach withmachine learning models.The quantitative analysis revealed that the SVM model had hidden biases towards certainintents, which affected its overall performance.On the other hand, the BERT model performed better than the SVM model with a slightdifference from the Hybrid model.The Hybrid system combined the strengths of the rule-based approach and machinelearning models, resulting in improved performance across all intents.Our findings highlight the importance of qualitative analysis in developing effectivenatural language processing systems.By understanding the syntactic structure of natural language, we can create better modelsthat accurately capture the meaning of the input text.Moreover, the Hybrid system we developed shows promise in improving the accuracy androbustness of intent classification systems.In conclusion, our thesis provides insights into the effectiveness of a Hybrid system for intent classification that combines the strengths of rule-based and machine-learning approaches.The results of this master thesis have practical implications for developing more accurate and robust intent classification systems, which can improve the performance of various natural language applications.Our work contributes to the ongoing efforts to develop natural language processingsystems that accurately and effectively process intent classification.