Han var sønn av kriminaldommer Hjalmar Smith (1857–1928) og Johanna Ovidia Fredrikke Ellefsen (1864–1947). Han var første gang gift (fra 1916) med stud.philol. Alfhild Marie Frost (1889–1921), datter av kongelig fullmektig Diderik Cappelen Frost, og andre gang (fra 1924) med cand.mag. Ragna Rogstad (1897–1960), datter av rektor Trond Rogstad. Smith ble medlem av Norsk Kvinnesaksforening, etter at Margarete Bonnevie hadde blitt ny leder i 1936.