I 1934 hadde han en viktig rolle under De lange knivers natt, utrenskningen i Sturmabteilung (SA). Hitler hadde laget en liste over ekte og innbilte konspiratører og sendte Dietrich til justisministeriet i Berlin for å likvidere dem. SA-ledere som var gamle venner av Dietrich protesterte og tryglet for sine liv, men Dietrch svarte: «Du har blitt dømt til døden av Føreren. Heil Hitler!».