Han kom etterhvert på kant med Hitler og ble fratatt jobben som Gauleiter. Dette gjorde ham sjokkert og han startet å angripe Hitler gjennom sitt kristne magasin . Dette førte til at han ble ekskludert fra NSDAP i 1928. Han fortsatte imidlertid å polemisere mot Hitler og i 1932 stilte han til valg mot NSDAP gjennom det som ble kalt «Dinterbund».