Han var sønn av presten Elias Smitt (1805–1875) og Livia Gundelle Margrethe Sverdrup (1808–1840), og bror av biskop Jacob Sverdrup Smitt og agronomen Jonas Smitt. Som sin første lærer hadde han A. O. Vinje, som var huslærer i Vinje prestegård. Senere ble faren sogneprest i Voss. Etter konfirmasjonen ble Smitt sendt til Christiania for å gå på skolen og ble student i 1858. Etter var han huslærer i flere år, først for sine yngre søsken. Deretter arbeidet han som kopist ved Høyesterett og tok juridisk embetseksamen i 1865.