Da Heydrich omorganiserte RSHA i 1937–1938 ble han forfremmet til leder av avdeling III (innenriks etterretning i SD). Han hadde denne stillingen til den tyske kapitulasjonen i 1945. Stillingen i SD skal ha vært uten betydning. I 1939 ble han forfremmet til Standartenführer og til sjefsstillingen i Amt III (, innenriks SD) ved Reichssicherheitshauptamt (RSHA). Nesten egenhendig bygget Ohlendorf opp SD til et effektivt etterretningsapparat som var innrettet mot vanlige tyskeres liv under nazistene. Han var også blant dem som rekruttert flest til SD.