Den første sjefen for RSHA var Reinhard Heydrich, som ledet kontoret inntil han ble likvidert i 1942. Himmler ledet deretter selv RSHA noen måneder. Ernst Kaltenbrunner tok over i januar 1943 og ledet RSHA til andre verdenskrigs slutt. Sjefen for RSHA var også leder for spesialenhetene, kjent som Einsatzgruppen.