Αυτοματισμοί ανάλυσης και διαχείρισης οπτικοακουστικών ροών στα ψηφιακά μέσα και στη διαμεσική επικοινωνία
Authors: Βρύζας Νικόλαος 
Published: May 2022

Τα ψηφιακά μέσα διανύουν μία περίοδο έντονων εξελίξεων και μετασχηματισμών. Οι προηγμένες δυνατότητες παραγωγής και επεξεργασίας υλικού σε συνδυασμό με τη συνδεσιμότητα και τη δημοτικότητα των μέσων κοινωνικής δικτύωσης, έχουν οδηγήσει σε μια έκρηξη στην παραγωγή δεδομένων. Η διαχείριση τεράστιου όγκου ετερογενών δεδομένων έχει θέσει νέες προκλήσεις στον τρόπο αποθήκευσης, επεξεργασίας και πρόσβασης σε αυτά, αναδεικνύοντας το επιστημονικό πεδίο των Μεγάλων Δεδομένων. Το πλήθος των διαθέσιμων δεδομένων και η εξέλιξη των εργαλείων και υπολογιστικών δυνατοτήτων δημιούργησε ευνοϊκές συνθήκες για την ανάπτυξη νέων αρχιτεκτονικών μηχανικής και εμβαθύνουσας μάθησης. Η εκπαίδευση μοντέλων με τεράστιο πλήθος παραμέτρων επιτρέπει την ενίσχυση της επίδοσης και της ευρωστίας σε επίπεδα που να επιτρέπουν την αξιοποίησή τους σε προβλήματα πραγματικού κόσμου.Στην παρούσα διατριβή μελετάται ο τρόπος ένταξης τεχνολογιών μηχανικής μάθησης σε συνήθεις ροές εργασιών στην παραγωγή, συλλογή, τεκμηρίωση και διανομή οπτικοακουστικών δεδομένων, αυτοματοποιώντας διαδικασίες και επαυξάνοντας το περιεχόμενο. Προδιαγράφεται ένα πλαίσιο λειτουργίας που περιλαμβάνει όλα τα στάδια παραγωγής και διανομής υλικού και παρουσιάζονται υλοποιήσεις συστημάτων διαδικτυακής ραδιοφωνικής και τηλεοπτικής παραγωγής. Μέσω μιας εφαρμογής ραδιοφωνικής παραγωγής ενσωματώνονται διαδικασίες αυτόματης επισημείωσης, καθώς και κατάτμησης και μεταγραφής αδόμητων ηχητικών ροών. Οι χρήστες μπορούν να αναζητούν εκπομπές βάσει περιεχομένου και να πλοηγούνται σε αυτές μέσα από ένα διαδραστικό περιβάλλον. Στη διαδικτυακή τηλεόραση, πραγματοποιείται χρονικός εντοπισμός του ενεργού ομιλητή και αυτόματη επιλογή κάδρου, αυτοματοποιώντας τη σκηνοθεσία. Ερευνώνται επιπλέον ζητήματα που έχουν σημαντική θέση στην παραγωγή, συλλογή και διανομή περιεχομένου. Μία λειτουργία με ιδιαίτερη εφαρμογή στη δημοσιογραφία είναι η συναισθηματική ανάλυση περιεχομένου. Στις οπτικοακουστικές ροές το πρόβλημα συνίσταται στην αναγνώριση της εκφοράς του λόγου. Κατά τη συλλογή και επαναχρησιμοποίηση υλικού τίθεται το ζήτημα εγκυρότητας. Προτείνονται διαδικασίες ελέγχου με τη χρήση πρωτότυπων τεχνικών που σχεδιάστηκαν για τις ανάγκες της διατριβής. Για την υποστήριξη της προτεινόμενης λειτουργικότητας, αναπτύχθηκαν βάσεις δεδομένων και μοντέλα μηχανικής μάθησης. Σχεδιάστηκε και αξιολογήθηκε μοντέλο αρχιτεκτονικής Συνελικτικού Νευρωνικού Δικτύου (CNN), τεχνικών μεταφοράς γνώσης και μη επιτηρούμενης συσταδοποίησης για την ηχητική αναγνώριση ομιλητών. Προτείνεται η πολυτροπική αναγνώριση ενεργού ομιλητή συνδυάζοντας ηχητική και οπτική πληροφορία. Μοντέλα ανίχνευσης προσώπου αξιοποιούνται για την αυτόματη επιλογή κάδρου εικονοληψίας, ενσωματώνοντας βασικούς κανόνες σύνθεσης. Για τη συναισθηματική ανάλυση ηχητικού περιεχομένου, δημιουργήθηκε η βάση AESDD με δυνατότητα επέκτασης και εκπαιδεύτηκαν μοντέλα μηχανικής μάθησης και ένα CNN για την αναγνώριση συναισθήματος σε πραγματικό χρόνο. Αξιολογήθηκαν τεχνικές μεταφοράς γνώσης μέσω CNN για την εκπαίδευση εξατομικευμένων μοντέλων. Παρουσιάζονται τεχνικές ελέγχου αυθεντικότητας που βασίζονται στον εντοπισμό ασυνεχειών στα πρότυπα συμπίεσης, την αναγνώριση προτύπων ήχου περιβάλλοντος και τον υπολογισμό της αντήχησης, οι οποίες παρέχονται μέσω διαδικτυακής υπηρεσίας σε δημοσιογράφους και κοινό.