I 1937 ble han leder for det uoffisielle østerrikske SS (Nürnbergdommen oppgir 1935). Han tok aktiv del i hendelsene omkring Anschluss, innlemmelsen av Østerrike i Det tredje rike (Tyskland 1933–1945). Göring instruerte østerrikske nasjonalsosialister om å ta kontroll over regjeringen i landet. Under Kaltenbrunners kommando omringet 500 østerrikske SS-menn kvelden 11. mars kanslerens kontorbygg. Mens Arthur Seyss-Inquart forhandlet med forbundspresident Miklas trengte SS-menn seg inn i bygget. Hitler forfremmet ham til SS-Brigadeführer samme dag som Anschluss var fullført. Han reiste til Wien og tok kommandoen over SS og politiet der samt i Niederösterreich og Oberösterreich. I 1938 ble han også minister for sikkerhet i Østerrike og 11. september 1938 ble han forfremmet til SS-Gruppenführer. Med base i Østerrike bygget han opp et stort etterretningsnettverk blant annet på Balkan. Samme år ble han valgt inn i Riksdagen.