Han har eksamen fra Quirinus Gymnasium i Neuss fra 1980, statseksamen i rettsvitenskap fra Universität zu Köln fra 1987 og advokatbevilling fra 1994. I årene 1987–1993 var han vitenskapelig assistent ved Universität zu Köln. Gröhe er protestantisk kristen, og var medlem av rådet for Tysklands evangeliske kirke 1997–2009 og medredaktør i kirkens månedlige tidsskrift, , 2000–2009.