Στις αρχές του 1834 ή στα τέλη του 1833 η Ιερά Σύνοδος ζήτησε από τη Γραμματεία επί της Δικαιοσύνης να διωχθεί ο Πυλαρινός, αναφέροντας ότι δίδασκε κατά της χριστιανικής θρησκείας και ότι έγραψε σε εφημερίδα «ύβρεις εναντίον του αρχηγού της χριστιανικής θρησκείας του Κυρίου ημών Ιησού Χριστού». Ο γραμματέας επί της Δικαιοσύνης (υπουργός) Κωνσταντίνος Σχινάς θεώρησε ότι δεν μπορούσε να διώξει τον Πυλαρινό, παραπέμποντας το ζήτημα στα δικαστήρια, αλλά παρ'όλα αυτά, έδωσε εντολή στις 7 Μαρτίου 1834 προς το Νομάρχη Αργολίδος και Κορινθίας να σταματήσει τον Πυλαρινό, υπενθυμίζοντάς του τον νόμο περί των Δημοτικών Σχολείων, άρθρα 60-62, σύμφωνα με τον οποίο κανείς ιδιώτης δεν έχει το δικαίωμα να συστήσει σχολή χωρίς την άδεια της κυβερνήσεως. Τότε «επαύθηκε του διδάσκειν υπό του τότε αυστηρού αστυνόμου Ναυπλίου Ευαγ. Ποταμιάνου». Τότε εξαναγκάζεται να φύγει από την Ελλάδα (αναφέρεται επίσης εμπλοκή του στη δίκη του Κολοκοτρώνη που έλαβε χώρα μεταξύ 30 Απριλίου και 26 Μαΐου 1834) και πηγαίνει στην πατρίδα του τη Κεφαλονιά.