Το 1937 ο Κάλτενμπρουνερ ανέλαβε την ηγεσία των αυστριακών SS. Είχε συμμετοχή στην προσάρτηση της Αυστρίας στο Γερμανικό Ράιχ (Άνσλους) το 1938 και για τη συμβολή του αυτή ο Χίτλερ τον προήγαγε σε ταξίαρχο (Brigadeführer) των SS. Την ίδια χρονιά ανέλαβε τη θέση του Ανώτερου Αρχηγού των SS και της Αστυνομίας (Höhere SS- und Polizeiführer - "HSSPF") στη Βιέννη. Στις 11 Σεπτεμβρίου 1941 προήχθη σε υποστράτηγο (Gruppenführer) των SS. Νέα προαγωγή τον Ιούνιο του 1943 του έδοσε το βαθμό του αντιστρατήγου. Από το Άνσλους έως το 1940 διετέλεσε Υπουργός Ασφαλείας της προσαρτημένης Αυστρίας.