Wedel Jarlsberg var sønn av Frederik (Fritz) Wilhelm Wedel-Jarlsberg (1787–1863) og Ingeborg Margrethe von Haffner (1793–1845). ''Se Wedel-Jarlsberg Han giftet seg med Juliane Cathrine Wilhelmine Wedel Jarlsberg, hoffrøken hos dronning Josefine og senere overhoffmesterinne hos dronning Louise. Blant deres barn var Juliane Frederikke Helene Louise (1853–1898), gift med Christian Benzon Hoppe til Pallisbjerg hovedgård og Fritz Wedel Jarlsberg (1855–1942).