No obstante, sostuvo conflictos con Julius Streicher y abandonó el partido; sin embago Hitler mantuvo su amistad con Esser.