I 1926 gikk han av som leder for SS, som på det tidspunktet fortsatt bare hadde omkring 100 medlemmer. Han fortsatte som Hitlers privatsjåfør, og fortsatte å ha tittelen . Da SS begynte å vokse etter 1930, under Heinrich Himmler, fikk han rang av . Han hadde i 1930-årene liten makt i bevegelsen, og fortsatte som Hitlers sjåfør inntil 1936, da han måtte slutte i posisjonen på grunn av dårlig helse. Han hadde da blitt ''SS-Oberführer.