Han var sønn av justissekretær Christian Fredrik Smith og Karen Christine Hald. Derfor ble etternavnet . Selv giftet han seg med Anna Ida Østrup Dahl (1854–1944) som var søster av landskapsmaleren Hans Dahl (1849–1937). De ble foreldre til Frithjof Smith-Hald (1879–1928) og maleren Bjørn Smith-Hald (1883–1964). Datteren Helga Smith-Hald (født 1877) ble komponist og giftet seg i Paris i 1909 med den amerikanske George Edward Gouraud (1842–1912).