Odilo Globočnik va començar a ficar-se en política el 1922, quan va afiliar-se a associacions paramilitars pangermanistes de Caríntia, les quals usaven el símbol de l'esvàstica; el 1930, va adherir-se al Partit Nazi (NSDAP); el 1931, apareix mencionat com a propagandista del Partit, i va deixar la seva feina en la construcció per dedicar-se de ple a l'activisme polític, on va realitzar tasques com ara organitzar una xarxa clandestina per transportar fons des d'Alemanya a Àustria. El juny de 1933, a Viena el joier jueu Norbert Futterweit va morir de resultes d'un atemptat amb bomba contra la seva botiga, un dels primers assassinats comesos pels nazis a Àustria, i sempre hi ha hagut la sospita que Globočnik pogués haver-hi tingut alguna implicació. L'agost de 1933, va ser detingut per primera vegada, ja que va intentar contactar amb nazis empresonats a Klagenfurt; aquesta detenció va anar seguida per quatre més entre 1933 i 1935, però les seves estades a la presó van ser breus. gràcies als bons oficis de Heinrich Himmler. L'1 de setembre de 1934, va ser admès com a membre de la branca austríaca de la SS amb el número d'afiliat 292.776. Gràcies al seu activisme fanàtic, aviat va esdevenir un dels més destacats nazis d'Àustria.; per això, el 24 de maig de 1938, poc després de l'és a dir de l'annexió d'Àustria a Alemanya, Hitler va nomenar-lo Gauleiter de Viena.