Gerstein kom fra en borgerlig familie. Faren nasjonalist, protestant og antisemitt, og arbeidet som dommer. Gerstein var utdannet gruveingeniør. Han sa opp sin stilling ved den statlige bergforvaltningen i Preussen og begynte i 1936 på medisinstudier i Tübingen.