Da hans ældre broder var faldet i Slaget ved Gadebusch (1712) og hans fader døde kort før hans farfader, feltmarskallen, blev grev Frederik Anton 1717 den 2. besidder af Grevskabet Jarlsberg, hvor han gjorde en del for "Residensens" forskønnelse og forbedring. Der blev 1723 ført klage over, at han ved godsstyrelsen gik både Kronens og bøndernes rettigheder for nær; men, støttet til en erklæring fra generalprokurøren, udtalte Konseillet, at der ikke var tilstrækkelig grund til at rejse sag imod ham. Mindre heldigt klarede han sig fra en beskyldning for uregelmæssigheder i regimentsadministrationen, især munderingsøkonomien; han måtte selv indrømme rigtigheden deraf, og, skønt han også denne gang slap for sagsanlæg, måtte han 1729 fratræde kommandoen. Det er derfor med urette, at en tradition har villet finde grunden til hans afskedigelse i, at han ved nedsættende ytringer om kong Frederik IV's andet giftermål skal have pådraget sig kongens mishag; at han ikke har hørt til dronning Anna Sophies parti, synes imidlertid at fremgå af de nådesbevisninger, der straks efter tronskiftet blev ham til del.