Sven Rudolf selv giftet seg i 1871 med Elise Welhaven Gunnerson (1850–1937) som var sønnedatter av Johan Ernst Welhaven. De fikk elleve barn med etternavnet Gunnerson Welhaven.