Urodzony w Klagenfurt am Wörthersee (Austro-Węgry), podczas I wojny światowej walczył w cesarsko-królewskiej armii. Następnie jako porucznik objął dowództwo tzw. legionu styryjskiego, włączonego później do Freikorpsu "Oberland", walczącego z powstańcami polskimi na Śląsku. W 1933 roku Rauter wstąpił do austriackiej partii nazistowskiej (do NSDAP nigdy nie należał) i SA, później stał się także członkiem SS. W latach 1935-1936 pełnił służbę jako oficer w sztabie Himmlera. Następnie był także oficerem w Głównym Urzędzie SS. W latach 1938–1940 był "Stabsführerem" Nadokręgu "Südost".