I april 1941 ble han tildelt graden generalmajor i politiet og ble HSSPF. Året etter ble Reinhard Heydrich, sjefen for RSHA, likvidert av partisaner i Riksprotektoratet, og letingen etter en etterfølger begynte. Himmler utnevnte 30. januar 1943 overraskende Kaltenbrunner til stillingen og dermed sin nestkommanderende. Han hadde denne posisjonen, som innebar kontroll over Sicherheitsdienst og Gestapo, inntil slutten av krigen. Gjennom SD og Gestapo hadde han ansvar for undertrykkelse av befolkningen i okkuperte områder. I denne stillingen hadde han også ansvar for gjennomføring av holocaust. Heinrich Fehlis i Norge var delvis under Heydrichs og Kaltenbrunners kommando.