Παρακολουθώντας την αλματώδη άνοδο των Ναζιστών και υποψιαζόμενος τι επρόκειτο να συμβεί στη συνέχεια, πέτυχε το 1933 να μετατεθεί στην κωμόπολη Λάουμπαχ της Έσσης, όπου ήταν άγνωστος, ενώ το 1935 έστειλε το γιο του στις ΗΠΑ για να αποφύγει τη στράτευση. Αν και δεν εκδηλωνόταν πολιτικά πέρα απ' το στενό του περίγυρο, μετά τη Νύχτα των Κρυστάλλων (1938) κάλεσε τον τοπικό δικαστή να παρέμβει εναντίον των ταραξιών - αυτός όχι μόνο δεν έκανε τίποτα, αλλά διέταξε και έρευνα για την καταγωγή των Κέλνερ, απ' την οποία γλίτωσε προσκομίζοντας πιστοποιητικά βάπτισης των προγόνων του που αποδείκνυαν ότι δεν ήταν Εβραίος. Οι «συστάσεις» συνεχίστηκαν τα επόμενα χρόνια, τόσο προς τον ίδιο όσο και τη σύζυγό του Παουλίνε, παρ'όλα αυτά κατάφερναν να αποφεύγουν περαιτέρω μέτρα εναντίον τους. Πολλά χρόνια αργότερα, ανακαλύφθηκε ότι ήδη απ' το 1937 οι αξιολογητές του Ναζιστικού Κόμματος τον είχαν σε δυσμένεια, περιγράφοντάς τον σε εσωτερικό έγγραφο ως "όχι αρκετά ενεργό στο κίνημα" και ενοχλητικό για τις τοπικές αρχές.