Han var sønn av kjøpmann i Drammen Peder Høegh Smith (1760–1811), Herstrøm, og Antonette Eliasdatter (1767–1801).