I 1822 ble han stilt for riksrett på grunn av et statslån tatt opp i Berlin hos bankhuset , men ble frikjent. Han trakk seg deretter tilbake til sitt gods Jarlsberg ved Tønsberg. I 1824 ble greven eier av jernverkene etter Peder Anker, som da besto av Bærums Verk, Fossum, Maridalen, Hakadals Verk og Moss Jernverk. Ved hans død i 1840 ble driften av jernverkene overtatt av sønnen, baron Harald Wedel Jarlsberg.