Sicherheitsdienst (SD) ble etablert i München i mars 1933 med Heydrich (da 20 år gammel) som leder. I 1934 ble SDs hovedkontor flyttet til Berlin. SD arbeidet både for nazipartiet og for den tyske staten. I 1936 slo Himmler sammen det hemmelige statspolitiet, kriminalpolitiet og grensepolitiet og kalte det Sicherheitspolizei (Sipo), Heydrich som sjef. I september 1939 slo Himmler sammen Sipo og SD Hauptamt til RSHA. Hensikten med reformen var å forene nazipartiets egne sikkerhetstjenester med de statlige etatene og å samordne etterretnings- og sikkerhetstjenester. RSHA flyttet inn i Gestapos lokaler i Berlin og Heydrich tok etterhvert over Prinz-Albrecht-Palais like ved i Wilhelmstrasse.