Ekteparet fikk sammen elleve barn, hvor fem vokste opp. Smith hadde liten nærhet med sine barn, og de ble tatt mest vare på av sin bestemor Hanne Thommesen. Hans fire døtre ble alle tidlig gift, Hanne i 1874 med skipsreder Christian Stephansen, Thora i 1875 med skipsreder Oscar Herlofsen på Strømsbu gård, Henriette i 1884 med kammerherre Hans Paasche Thorne, og Julie i 1885 med brukseier Willem Stibolt. Smith forble enkemann resten av livet, og fikk 34 barnebarn.