Etter sin avskjedigelse trakk Thott seg tilbake til sine gods på Sørsjælland. Han hadde i 1732 giftet seg med Birgitte Charlotte Kruse, en datter av generalmajor Ulrik Christian Kruse, og hun hadde gitt ham Lindersvold i medgift. I 1731 hadde han kjøpt Strandegård, og 1737 tilegnet han seg gjennom arv og kjøp Gavnø. Det virker som om han i Struenseetiden levde nokså isolert nede på Gavnø, mens hans tidligere kolleger stod i aktiv forbindelse med hverandre.