Forløperen for SD var Ic-Dienst, en liten gruppe som jobbet fra en privatleilighet, og var underlagt Heinrich Himmler. SD ble opprettet i 1931 av Reinhard Heydrich. Det første året fungerte den som NSDAPs private etterretningstjeneste, men ble etter maktovertagelsen i 1933 gradvis en del av statsapparatet i Det tredje rike. I begynnelsen konkurrerte den med Sturmabteilung (SA), som riktignok ikke hadde noen egen etterretningsavdeling, men som allikevel utførte mange av de samme oppgaver. I 1938 ble SD formelt en statlig etterretningstjeneste.