Han ble i 1871 gift med sin kusine Marie Bernhardine Suur (1845–1916). Blant deres barn var språkprofessor Jakob Sverdrup d.y. (1881–1938), religionshistorikeren Georg Johan Sverdrup (1885–1951) og zoologen Aslaug Sverdrup Sømme (1891-1955).