Til alderens tynge kom private sorger. Hans hustru døde etter 49 års lykkelig ekteskap 1781, og like etter mistet han sitt eneste barn, datteren Christine Sophie, som var enke etter hoffmarskalk Chr. D. Rantzau. Selv om han som en følge av alt dette må syntes å være mett av dage da Guldbergs styre falt, beholdt han allikevel sin plass i gehejmestatsrådet etter regjeringsforandringen 14. april 1784. Han fikk til og med like etter (5. mai) tilbake stillingen som patron for Københavns Universitet, som han hadde innehatt før Struensees tid. Men han var nå utslitt, han led også av en alvorlig øyesykdom, og 10. september 1785 døde han i den høye alder av 82 år. Han ble begravet i Sorø klosterkirke. Hans betydelige boksamling ble solgt på auksjoner, mens Det Kongelige Bibliotek fikk testamentert både håndskrifter og paleotyper.