Gerstein meldte seg i 1925 inn i den protestantiske kristelige ungdomsbevegelsen og hans kristelige-moralske overbevisning ble sterkere med alderen. Han meldte seg inn i NSDAP i mai 1933 (samtidig med faren og brødrene) og i SS i 1934. Gerstein var etter 1933 medlem av Martin Niemöllers Den bekjennende kirke og hadde i disse kirkelige kretser kontakt med personer som var motstandere av naziregimet. Da , et rasistisk og kristendomsfiendtlig stykke, ble vist i hjembyen brøt Gerstein inn i forestillingen hvorpå han ble anholdt og banket opp av en gruppe SA-menn. Han satt seks uker i varetekt høsten 1936 og ble utestengt fra partiet. I 1938 ble han på nytt arrestert og satt internert i konsentrasjonsleiren Welzheim. Gerstein gikk inn i Waffen SS i 1941, ifølge ham selv for å sabotere nazistenes kriminelle virksomhet. I Waffen SS arbeidet som ekspert på hygiene og desinfeksjon ved hygieneinstituttet i Berlin og skaffet seg informasjon om T-4s drap på psykiatriske pasienter i Grafeneck og Hadamar.