Christian Frederik Wedel Jarlsberg var gift med Hedevig Frederikke von Witzleben (1788–1850), og de hadde sønnene Christian Burchard Emil Wedel-Jarlsberg (1812–1894) og Theodor Frederik Wedel-Jarlsberg (1826–1870). Datteren Adelaide ble mor til Fridtjof Nansen.