Himmler mente sammen med Hermann Göring at SAs ledelse, og i særdeleshet Ernst Röhm, utgjorde en trussel mot partiledelsen. Röhm hadde en venstreorientert filosofi i forhold til kapitalisme og arbeideres rettigheter, og snakket om en andre revolusjon som skulle fullføre det som var påbegynt med maktovertagelsen. De to var i den nærmeste kretsen omkring Hitler, og overbeviste ham om at noe måtte gjøres med SA. Resultatet ble de lange knivers natt i 1934, da et stort antall ledere i SA ble henrettet. Himmler fikk sammen med Göring i oppdrag å utføre arrestasjoner og henrettelsene i Berlin. Dette gjorde de sammen med blant annet Reinhard Heydrich, Kurt Daluege og Walter Schellenberg. Neste dag godkjente Hitler bruken av Reichsführer-SS som gradsbenevnelse og satte dermed Himmler formelt på nivå med generalfeltmarskalker.