Grev Herman Wedel-Jarlsberg blev 1836 udnævnt til statholder. Indtil hans død 1840 var der mellem ham og Løvenskiold et meget godt samarbejde, der ikke rystedes ved nogen krise. Det var rolige år. Efter grev Wedels død udnævntes Løvenskiold til hans efterfølger som statholder og blev den sidste, som beklædte dette i 1873 ophævede embede. I 1848 tilrådede han, at de forenede riger skulle optræde aktivt i krigen på Danmarks side og under Krimkrigen frarådede han tilnærmelsen til vestmagterne. I 1856 nedlagde han sit embede og trak sig tilbage til Fossum, hvor han døde 13. september samme år.