Han var sønn av Erik Olsen (1831–1918) og Josefine Andrea Nicolaysen (1839–1899), og bror til Ole Sverre. I mai 1862 endret han etternavn fra Olsen til Sverre. I september 1893 giftet han seg i Fredrikstad med Elna Jacobsen (1870–1958), datter av Julius Nicolai Jacobsen. Ekteskapet varte til januar 1917. I februar 1919 giftet han seg i Paris med Gudny Thaulow, tidligere gift Bonnevie.