Foreldrar hans voru Sveinn Níelsson alþingismaður og Guðrún Jónsdóttir. Hann útskrifaðist úr Lærða skólanum árið 1863. Eftir að hafa lokið námi í guðfræði við Hafnarháskóla 1870 stundaði hann nám við Pastoralseminariet í Kaupmannahöfn 1870—1871.