Sven Damsholt var sønn av forfatteren Ellen Brikxø Damsholt (1888–1928) i hennes annet ekteskap med bonden Damsholt.