Han meldte seg inn i det nazistiske partiet i Kärnten i 1930 og etter at partiet ble forbudt i 1934 fikk han omdømme som en av undergrunnspartiets mest radikale ledere. Globocnik sonet også straff for medvirkning til drap på en jøde i 1933. Han ble med i SS i 1933. SS var forbudt i Østerrike fra 1934, og han sonet noen korte fengselsstraffer for ulovlig virksomhet for nazistene.er.