Han spilte en sentral rolle ved planlegging av Anschluss og fungerte som kontaktperson mellom Adolf Hitler og de tyske nazistenes støttespillere i Østerrike. Fra 1938 til 1939 var han (partileder) i Reichsgau Wien. Han ble sparket som gauleiter på grunn av korrupsjon, ulovlig pengeveksling og omfattende skatteunndragelse. Motstand blant katolske nazister mot konfiskering av kirkens eiendom og deportering av prester til Dachau medvirket trolig også til at Globocnik ble sparket. Hitler godtok motstrebende å avsette Globocnik som gauleiter.