Sven var sønn av Sivert Gundersen (1808–1882) fra Sogndal og Agathe Marie Ruud (1813) fra Bergen. Faren var kjøpmann og skipsreder i Stavanger, der han også var aktiv haugianer og modell for romanfiguren Sivert Jespersen Alexander Kielland's Skipper Worse. Mora var datter av den bergenske haugianer Svend Ruud.