Etter general Itzenplitz' bortgang, nedla Wöllner i 1760 sine kirkelige verv og forpaktet generalens eiendom. I 1768 giftet han seg med generalens eneste datter grevinne Charlotte Amalie Elisabeth von Itzenplitz (1742–1801). Denne vielsen mellom en pastor og en adelig falt imidlertid Fredrik II av Preussen tungt for hjertet. Den prøyssiske monarken eksproprierte «Frau Wöllner» og overførte henne til Berlin som husholderske.