Etter grev Wedels død 1840 ble Løvenskiold utnevnt til hans ettermann som stattholder. Ved utbruddet av Krimkrigen ivret den svenske kongen for svensk-norsk deltakelse i krigen mot Russland og det var den 80 år gamle Løvenskiold som i en rekke skarpe brev gikk i rette med monarken hvor han argumenterte for en nøytral linje. I 1856 nedla han embetet og trakk seg tilbake til Fossum, hvor han døde samme år.