Kaltenbrunner studeerde rechten en was vervolgens enkele jaren als advocaat werkzaam. In 1932 sloot hij zich bij de Oostenrijkse nationaalsocialisten aan. Als zodanig was hij ook betrokken bij de geslaagde moordaanslag in 1934 op de Oostenrijkse bondskanselier Engelbert Dollfuss van het katholieke nationale Heimatfront. In 1937 werd hij chef van de Oostenrijkse SS. Na de annexatie van Oostenrijk door nazi-Duitsland (Anschluss) werd hij in augustus 1938 staatssecretaris voor veiligheidszaken in de regering van Arthur Seyss-Inquart. In september van datzelfde jaar werd hij door SS-leider Heinrich Himmler tot Höhere SS- und Polizeiführer Donau benoemd. In deze functie had hij de leiding over de gehele SS van het Oostenrijkse deel van het Duitse Rijk.