Rauter volgde een technische opleiding aan de universiteit van Graz. Toen de Eerste Wereldoorlog uitbrak, meldde hij zich vrijwillig als soldaat. Na afloop van de oorlog nam hij deel aan de Karinthische Vrijheidsstrijd. In 1921 was hij bij een soortgelijke strijd in Opper-Silezië betrokken. In datzelfde jaar was hij tevens medeoprichter van de antisemitische groepering Steirischer Heimatschutz, waarin hij een leidinggevende positie bekleedde.