Средином 1935. године Калтенбрунер је постао вођа аустријског СС-а. Због велике помоћи у спровођењу Аншлуса, Хитлер га је унапредио у вођу аустријског дела СС-а (), на дан када је Аншлус успешно изведен. 11. септембра 1938. године постао је вођа паравојних јединица. Такође је био члан Рајхстага од 1938. године. У априлу 1941. године унапређен је у чин Главног полицијског генерала. Након убиства Рајнхарда Хајдриха у Прагу 1942. године заменио га је на челу РСХА.