Wulfsberg var sønn av presten Niels Wulfsberg d. e. og Abigail Achton. Han var gift første gang med Inger Helvig Seberg, annen gang med Anne Henrikke Stoltenberg. Han var far til Niels Wulfsberg d. y. og Gregers Winther Wulfsberg.