Han var gift med Karen von Cappelen (1789–1863), datter av Caspar von Cappelen. De var bl.a. foreldre til Peder Høegh Smith (død 1881), gift med kusinen Marie Severine Cappelen (død 1900). De var også foreldre til Antoinette Johanne Smith, gift med John Collett, Buskerud hovedgård.