Løvenskiold bygde ny hovedbygning på Fossum, et arbeid som varte fra 1811 til 1818. Hans kone døde i barsel i 1819, noe som gjorde at han trakk seg unna den daglige drift. Driften ble i stedet overlatt sønnen Ernst, og Løvenskiold konsentrerte seg deretter om ulike offentlige stillinger og verv.