Etter realskolen og et år som handelsmann, tok Gerstenmaier og studerte fra 1930 filosofi, tysk og litteratur, og deretter luthersk teologi ved Eberhard-Karls-Universität Tübingen og senere ved Universität Rostock og i Zürich. I 1934 var en fengslet en stund på grunn av sitt medlemskap i Bekjennelseskirken. I 1935 arbeidet han for den tyske evangeliske kirkens avdeling for eksterne kontakter.