Svend var sønn av trelasthandler og politiker Andreas Solberg (1801–1862) og Ingeborg Nicoline Kiær (1799–). Faren var født på Vestre Solberg i Sylling og foretok en klassereise da han i 1820-årene flyttet til Tangen som handelsbetjent og giftet seg inn i familien Kiær. Svend Solberg giftet seg med Lovise Christiane Arbo, og de fikk seks barn: Christiane Fredrikke Solberg (1862–), Andreas Solberg (1864–), Peter Collett Solberg (1866–1934), Svend Adolf Solberg (1868–), Ingeborg Nicoline Solberg (1869–), Carl Ludvig Solberg (1870–) og Carl Nicolai Andreas Solberg (1872–).