Mining essential structure in pornographic imagery with deep neural architectures
Creators: name: Καραβαρσάμης, Σωτήριος Λάμπρου
Publisher: name: Aristotle University of Thessaloniki
Year: 2014
Subjects: μοντέλα βαθιάς μάθησης
ταξινομητής
ανίχνευση πορνογραφίας
deep learning models
classifier
pornographic image recognition

description: Στην παρούσα εργασία, εκτελείται ένα πρωτόκολλο για την εκτίμηση της εμπειρικής γενικευτικής ικανότητας αλγορίθμων βαθιάς μάθησης και κλασικών αλγορίθμων μηχανικής μάθησης. Εφαρμόζουμε αυτούς τους αλγορίθμους σε δυαδικά προβλήματα κατηγοριοποίησης δειγμάτων πορνογραφικής εικόνας με πληροφορία χρώματος, ή μόνο με την πληροφορία της έντασης εικονοστοιχείου που γίνεται αντιληπτή σε επίπεδα του γκρι. Τα προβλήματα κατηγοριοποίησης με τα οποία ασχολούμαστε ορίσθηκαν στις εργασίες (Karavarsamis et al., 2012) και (Karavarsamis et al., 2013). Ως συγκρινόμενα μέλη, επιλέγουμε αλγορίθμους μη επιβλεπόμενης μάθησης σε συνδυασμό με ταξινομητές που εκμεταλλεύονται την πληροφορία της ταμπέλας ενός δείγματος, καθώς και περισσότερο συμβατικά μοντέλα όπως είναι τα τυχαία δάση και οι μηχανές διανυσμάτων υποστήριξης. Οι αλγόριθμοι μη επιβλεπόμενης μάθησης οι οποίοι συγκρίνονται είναι: (α) ο αλγόριθμος μη επιβλεπόμενης μάθησης χαρακτηριστικών εικόνας με βάση τον αλγόριθμο ομαδοποίησης k κέντρων (Coates and Ng, 2012), (β) τα tiled συνελικτικά νευρωνικά δίκτυα (Le et al., 2010), και (γ) ρηχά μη γραμμικά νευρωνικά δίκτυα τελούντων της πράξης αυτοσυσχέτισης διανυσματικών δεδομένων. Τα κλασσικά μοντέλα μάθησης τα οποία συγκρίνονται είναι: (α) οι μηχανές διανυσμάτων υποστήριξης που μοντελοποιούν πρώιμα δεδομένα χωρίς την εξαγωγή τεχνητών χαρακτηριστικών και (β) τα τυχαία δάση σε τεχνητά χαρακτηριστικά υψηλής διαστατικότητας, τα οποία υπολογίζονται σύμφωνα με την μέθοδο AIIA-POD (Karavarsamis et al., 2013). Αφού εκτιμήσουμε τα μέτρα θέσης και διασποράς για τα μοντέλα που αναφέρουμε πιο πάνω, γίνεται η αντιδιαισθητική παρατήρηση πως τα στιγμιότυπα της μεθόδου των (Coates and Ng, 2012) παρουσιάζουν στατιστικά βέλτιστη συμπεριφορά έναντι όλων των αντίπαλων μεθόδων ως προς ένα μεγάλο περιθώριο απόδοσης με βάση το μέτρο θέσης της ακρίβειας του μοντέλου σε μία διαμέριση των συνολικών δειγμάτων εικόνας, 10 συνολικά ισομεγεθών ομάδων. Για παράδειγμα, σε ένα από τα προβλήματα που μελετήσαμε, η προηγούμενη μέθοδος αποδίδει καλύτερη μέση ακρίβεια έναντι των αντίπαλων μεθόδων εντός ενός μεγιστωτικού περιθωρίου απόφασης 20,08%. Αυτή η αύξηση ως προς την απόδοση είναι σημαντική αν λάβουμε υπόψη την απλότητα της σχεδίασης αυτού του μοντέλου. Το προηγούμενο εμπειρικό εύρημα επάγει ενδιαφέρον για ό,τι αφορά τη θεώρηση του ίδιου προβλήματος της αναπαράστασης δεδομένων και της κατηγοριοποίησης ως προς ένα θεωρητικό μαθηματικό πλαίσιο για τη μοντελοποίηση της περιοχής V1 του οπτικού φλοιού (Olshausen &amp; Field, 1997). Επιπλέον, ο μεγάλης κλίμακας διανυσματικός χώρος των τυχαία δειγματοληπτημένων εικονοθραυσμάτων (image patches) εξομοιώνουν το φαινόμενο του οπτικού κορεσμού. Συγκεκριμένα, ορισμένοι τεχνητοί νευρώνες είναι περισσότερο επιλεκτικοί σε εικονοθραύσματα περιοχών δέρματος σε αντίθεση με άλλα εικονοθραύσματα. Παρουσιάζει ενδιαφέρον η μελέτη της υπόθεσης ότι μη παραμετρικά μοντέλα οπτικής αναγνώρισης είναι εφικτά για τα δυαδικά προβλήματα κατηγοριοποίησης εικόνας. Η υπόθεση αυτή συζητείται στο άρθρο των (Torralba et al., 2008)
description: We design and run empirical benchmarks on several binary image classification problems with a varying degree of exposed skin regions, originally introduced in previous work (Karavarsamis et al., 2012) and (Karavarsamis et al., 2013), blending unsupervised feature learning algorithms with supervised classifiers, and conventional supervised machine learning algorithms such as random forests and support vector machines. Our experiments are conducted on image samples with RGB color channels, and on image samples with gray-level pixel intensities. The unsupervised learning algorithms that we benchmarked are: (a) unsupervised feature learning using k-means by (Coates and Ng, 2012); (b) tiled convolutional networks (Le et al., 2010); and, (c) autoencoders. More conventional supervised machine learning models that we benchmarked are: (a) support vector machines on raw data, and (b) random forest models trained on artificial features computed by the AIIA-POD method, which are discussed in (Karavarsamis et al., 2013). Our main conclusion on the best model for all binary problems is counterintuitive; specifically, instances of the method of (Coates and Ng, 2012) outperform all of the other studied models within a very large margin from the worst performing method in terms of the mean correct classification rate using 10-fold cross validation. As an example, in one problem instance, unsupervised feature learning with k-means clustering beats competitor methods versus the worst performing method by a maximal margin of 20,08%. This leap in generalization performance is significant given the simple design of this model. This empiricist finding generates more interest into studying the image classification problem on AIIA-PID data (Karavarsamis et al., 2013) under the V1 brain area simulating theoretical framework by (Olshausen and Field, 1997). Moreover, the large vector set of randomly sampled color image patches in the work of (Coates and Ng, 2012) seems to assimilate the phenomenon of visual information saturation. That is, some feature activations are more selective to skin image patches rather than to non-skin image patches. We could investigate the hypothesis that non-parametric visual recognition models are also possible for our binary classification problems, as they are discussed in work by (Torralba et al., 2008).