Han var sønn av offiser, senere kommanderende general i Norge, Erhard Frederik Wedel-Jarlsberg og Marie Juliane riksgrevinne Freytag zu Gödens (1684–1727). I forbindelse med inngåelse av ekteskap med komtesse Christine Sophie komtesse Friis-Frijsenborg (1713–1787) i 1743, fikk han patent på å forene de Frijsers navn og grevelige våpen med sitt eget.