Ανάλυση πολυμέσων με χρήση Γνώσης: ισορροπώντας ανάμεσα στην πολυπλοκότητα και την εγκυρότητα
Creators: name: Φαλελάκης, Εμμανουήλ Ν.
Publisher: name: Aristotle University of Thessaloniki
Year: 2010
Subjects: Ανάλυση πολυμέσων
Έλεγχος πολυπλοκότητας
Ανάκτηση πολυμέσων
Ασαφής λογική
Multimedia analysis
Complexity control
Multimedia retrieval
Fuzzy logic

description: Η παρούσα διατριβή παρουσιάζει εργαλεία για την αναγνώριση σημασιολογικών οντοτήτων σε πολυμεσικά έγγραφα χρησιμοποιώντας πρότερη γνώση. Βασικός της στόχος είναι να παρέχει μεθοδολογίες που καθιστούν την υπολογιστική πολυπλοκότητα ελέγξιμη παράμετρο των συστημάτων σημασιολογικής αναγνώρισης και ταυτόχρονα να βελτιώσει την απόδοση των τελευταίων. Για τους σκοπούς αυτούς χρησιμοποιεί ένα ιεραρχικό πολυεπίπεδο μοντέλο ασαφούς γνώσης, στο οποίο οι οντότητες διακρίνονται σε (α) άμεσα μετρήσιμες (συντακτικές) και (β) υψηλού επιπέδου (σημασιολογικές), ενώ ορίζονται κατάλληλες μετρικές για την ποσοτικοποίηση της διαδικασίας της σημασιολογικής αναζήτησης και των αποτελεσμάτων της. Ακόμα, δίνονται κατευθύνσεις για το συμπερασμό πάνω στη γνώση ανάλογα με τις απαιτήσεις του προβλήματος και προτείνονται μέθοδοι για τον υπολογισμό των ασαφών βαρών του μοντέλου. Η προτεινόμενη εκφραστικότητα είναι περιορισμένη, επιτρέποντας μόνο διαζευκτικές εκφράσεις, αλλά πλήρως συμβατή με τον τρόπο αντιμετώπισης των πολυμεσικών εγγράφων από τους τρέχοντες ταξινομητές. Στη βάση αυτών, η διατριβή συνδυάζει τα αποτελέσματα αξιόπιστων πηγών μετρήσεων (π.χ. ταξινομητών) χρησιμοποιώντας ένα μοντέλο γνώσης που δεν απαιτεί πολύπλοκους υπολογισμούς κατά το συμπερασμό, καθώς οι βαθμοί αλήθειας των υπό αναζήτηση εννοιών είναι αποτιμήσιμοι μέσω κλειστών μαθηματικών εκφράσεων που προκύπτουν άμεσα από τα αξιώματα της γνώσης. Ταυτόχρονα, δίνει τη δυνατότητα της προσαρμογής της σημασιολογικής αναζήτησης στους εκάστοτε υπολογιστικούς περιορισμούς, μέσω της βέλτιστης επιλογής υποσυνόλων των χρησιμοποιούμενων πηγών μέτρησης, τόσο κατά την αναζήτηση μιας έννοιας όσο και κατά την ταυτόχρονη αναζήτηση πολλαπλών οντοτήτων. Η επιλογή αυτή μάλιστα επιτυγχάνεται με δυναμικό προγραμματισμό έτσι ώστε και αυτή η ίδια να εισάγει χαμηλή υπολογιστική πολυπλοκότητα. Τα πειράματα δείχνουν ότι η προτεινόμενη μεθοδολογία μπορεί να πετύχει καλή ακρίβεια στην αναζήτηση και ανάκτηση νέων εννοιών, χωρίς να απαιτεί την εκπαίδευση αντίστοιχων ταξινομητών. Επίσης, βελτιώνει την επίδοση υπαρχόντων ταξινομητών, ενώ μπορεί να προσαρμοστεί στο εκάστοτε πεδίο, μέσω της διαδικασίας επανα-υπολογισμού των βαρών. Επιπλέον, επιδεικνύεται η εφαρμογή των μαθηματικών εργαλείων της διατριβής και στο πεδίο της αξιολόγησης πρακτόρων λογισμικού. Τέλος, στα πλαίσια της εργασίας αποδεικνύεται ότι ακόμα και για μια γλώσσα με μεγαλύτερη εκφραστικότητα, η εκτέλεση ενός ασαφούς tableau αλγορίθμου στο σύνολο των μετρήσεων του ABox έχει αποτέλεσμα ισοδύναμο με την αποτίμηση κλειστών αριθμητικών εκφράσεων που η δομή τους μπορεί να προκύψει πριν τις μετρήσεις. Πειράματα με χρήση αυτής της γλώσσας για ανάκτηση πολυμέσων επιβεβαιώνουν την αξία της προτεινόμενης μεθοδολογίας ενώ αφήνουν να διαφανεί ότι η επίδοση της τελευταίας στο σύνολο δοκιμών διαφαίνεται ότι μπορεί να προβλεφθεί από την αντίστοιχη επίδοση στο σύνολο εκπαίδευσης.
description: This thesis introduces tools for the semantic analysis of multimedia documents based on prior knowledge. The main goals of the thesis are to provide methodologies that can turn the computational complexity into a controllable parameter of such systems, as well as to improve the effectiveness of the latter. In our approach, entities are divided into (i) directly measurable quantities (syntactic entities) and (ii) high-level entities closer to human perception (semantic entities) and organized within a hierarchical model, where subsumptions hold up to a certain degree. Moreover, appropriate metrics for quantifying the semantic search procedure and its results are proposed. The methodology is equipped with Inference mechanisms that fit various scenarios, while appropriate methods for computing the fuzzy weights of the knowledge model are also described. Although the proposed expressivity is limited wrt Description Logics, it is fully adequate and compatible with the way current classifiers treat multimedia documents. On these grounds, this thesis combines the results (scores) of reliable measurment methods (e.g. classifiers), by using a knowledge model that does not require complicated computations during inference. This can be achieved because the truth factors of the entities under examination are computed using closed mathematical expressions, that can stem directly from knowledge, thus eliminating the need for ABox reasoning. Furthermore, through the proposed methodology, semantic search can be efficiently used under any restrictions posed by computational complexity, by selecting optimal subsets of the available measurements. This technique is extended to include the case of simultaneous search for multiple documents and the selection problem in both cases is efficiently solved using dynamic programming, which minimizes the extra computational burden of the design itself. Experiments demonstrate that the proposed method can achieve very good accuracy while searching for and retrieving new entities, without the need for training extra classifiers. Furthermore, this technique improves the scores given by already existing classifiers, by enhancing their results using a knowledge-based query expansion, and can also be adopted to various domains/datasets through a process of fuzzy weight recomputation. Moreover, an extra application scenario is presented, where the mathematical tools provided by this thesis are used for evaluating software agents. Finally, it is theoretically proved that, even in the case of a more expressive language, the execution of a fuzzy tableau algorithm on the measurements (i.e. using the instantiated ABox) yields results identical with the ones our method can achieve using closed-form mathematical expressions, derived from knowledge axioms only. The corresponding experiments illustrate the virtues of this language, while also indicate that the performance of our methodology on a test set can be estimated by its performance on the training set.