Con l'annessione dell'Austria al Terzo Reich, Hitler decise di nominare Globočnik, allora uno dei più importanti membri del partito della sezione austriaca, Gauleiter di Vienna, il 22 maggio 1938. Quello che doveva essere un incarico di prestigio si rivelò invece l'inizio della fine della sua carriera: di fatto Globočnik sfruttò la sua posizione per arricchirsi e questo gli alienò le simpatie dei funzionari del partito, in particolar modo dell'ala cattolica; a ciò si aggiunsero una serie di contrasti con Hermann Göring. Per questo il 30 gennaio 1939, venne sospeso dalla carica di "Gauleiter" e al suo posto venne nominato Josef Bürckel come suo successore.