Misunnelse og intriger i forbindelse med en posisjon som en av hoffets yndlingsmalere, førte med tiden til flere og flere ryktedannelser og angrep på henne. I pressen ble et påstått forhold til den daværende finansministeren, Calonne, omtalt. I 1789 ble hennes omdømme for alvor ødelagt ved offentliggjøringen av et fritt oppdiktet brev fra henne til ministeren. Vigée-Le Brun måtte søke tilflukt hos familien til arkitekten Brongniart.