Mellom 1927 og 1929 viet han det meste av sin energi til vervet som nestkommanderende i SS som da var en nokså liten organisasjon. Da Heiden søkte avskjed i 1929, ble Himmler den nye lederen. Medlemstallet i organisasjonen hadde i 1929 sunket fra omkring 1 000 i 1927 til 280. Nedgangen skyldtes i stor grad press fra SA-ledelsen, som ønsket å oppløse SS. På dette tidspunkt var hans grad egentlig SA-Oberführer (tilsvarende oberst), men han begynte å bruke embetstittelen Reichsführer-SS som rang tilsvarende generalfeltmarskalk. Dette fortsatte han med, og i 1934 ble embetstittelen offisielt også en paramilitær grad. Himmler ville gjøre SS til en «arisk» elite og innførte fysiske krav til SS-menn: Han foretrakk høye blåøyde menn som kunne vise en anetavle uten rasemessig «mindreverdig» innslag.