Vuoden 1935 puolesta välistä Kaltenbrunner toimi Itävallan SS:n johtajana. Hän avusti Anschlussissa 1938. Adolf Hitler ylensi hänet "SS Brigadeführeriksi" samana päivänä kun Itävallan Saksaan liittäminen oli saatettu päätökseen. 11. syyskuuta 1938 hänestä tuli "SS Gruppenführer" ja huhtikuussa 1941 poliisivoimien ylipäällikkö.