Hans Globke ble født 10. september 1898 i Düsseldorf som sønn av en handelsmann. Kort tid etter hans fødsel flyttet familien til Aachen. Globke gikk på Kaiser Karl-gymnasiet og fikk Abitur (videregående) i 1916. Deretter gikk han i militærtjeneste og tjenestegjorde de siste årene av første verdenskrig ved Vestfronten. Etter krigens slutt studerte han jus og statsvitenskap ved universitetene i Bonn og Köln. I 1922 oppnådde han doktorgraden i rettsvitenskap ved Universitetet i Giessen.