Etter at tsarina Elisabeth døde i 1762, ble han utnevnt av Katarina II til generalguvernør i Smolensk og medlem av Senatet, men i 1768 flytta han tilbake til sin gods i Nitau/Nītaure.