Han var sønn av prosten Anton Elias Smitt og Livia Gundelle Margrethe Sverdrup og hans bror var biskop Jacob Sverdrup Smitt. Han giftet seg 28. januar 1874 med sin kusine Livia Gundelle Margarethe Sverdrup.