Globke, som var katolikk, gikk i 1922 inn i offentlig tjeneste og meldte seg det samme året inn i det katolske partiet Zentrum. Han tilhørte partiet helt til det ble oppløst i 1933. Globke var fra 1925 stedfortreder for politipresidenten i Aachen. Han ble i 1929 ansatt i Preussens innenriksdepartement som i 1932 ble overført som Weimarrepublikkens riksinnenriksdepartement.