Han levde alene det meste av sin liv grunnet sin avsmak for kvinner. Han ble betraktet som en kvinnehater og levde som ungkar inntil ga etter for en kvinne og giftet seg med henne i East Clandon. Denne kvinnen var enken til Goffes forgjenger og hadde latt som om hun var blitt forelsket i hans prekener. Han ble advart av sin gode venn fra Oxford, Thomas Thimble, at hun til sist vil komme til å knuse hans hjerte og at han var bedre stilt uten henne. Goffe lot seg uansett overtale og ble torturert av ekteskapet. Hun var sta, vanskelig og hadde ingen respekt for Goffe eller hans venner. Når noen få av hans venner fra Oxford stoppet ved Goffes hus, skottet hans hustru på dem med «onde øyne» og serverte dem egg og melk for middag. Pinlig berørt av sin hustru, beordret Goffe bedre mat for sine venner den påfølgende kvelden og ga dem vin. Hans hustru og hennes barn fra tidligere ekteskap fortsatt å vise ham manglende respekt, og hans venner klandret dem for hans død som skjedde den 27. juli 1629, ikke lenge etter at han ble gift.