Gregers Winther Wulfsberg ble født i Tønsberg som sønn av handelsmannen og byfogden Jacob Wulfsberg (1751–1826) og Inger Helvig Seeberg (1752–1797). Han var bror av presten og avisgrunnleggeren Niels Wulfsberg. I 1811 giftet han seg med Johanne Iverine Friborg. De er besteforeldre til dommeren, amtmannen og statsråden Gregers Gram. Han var også svigerfar til sorenskriveren Harald Gram og dommeren Christopher Hansteen.