Son père, François Poisson, a débuté comme conducteur dans le service des vivres. Remarqué par les frères Pâris, des financiers liés à la famille de La Motte, il a rendu de grands services en Provence, au moment de la peste. Mais, chargé comme commissaire aux vivres du ravitaillement de Paris pendant la disette de 1725, il est accusé de trafics et ventes frauduleuses. François Poisson est contraint de quitter le pays, et s'exile en Allemagne. Le , une commission du Conseil le déclare débiteur pour la somme de . Le de la même année, une sentence du Châtelet de Paris décide la séparation de biens avec son épouse, mais leur maison rue Saint-Marc est saisie. Avant son départ, François Poisson confie sa fille Jeanne-Antoinette, qui a 5 ans, au couvent des Ursulines de Poissy en 1727. Ce couvent est connu pour l'éducation des jeunes filles issues notamment de la bourgeoisie. La santé de Jeanne-Antoinette est fragile. Mais elle souffre aussi moralement d'une double absence : celle de son père exilé, et celle de sa mère qui mène une vie pour le moins mouvementée. En , Madame Poisson reprend sa fille à Paris, rue Neuve des Bons-Enfants. Jeanne-Antoinette reçoit alors une éducation soignée et l'enseignement des arts d'agrément, tels que le dessin, la musique, la peinture, la gravure, la danse, les cours de chant donnés par Pierre de Jélyotte mais aussi de déclamation par Jean-Baptiste de La Noue. Dans ce cadre, elle découvre le salon littéraire de Madame de Tencin, une amie de sa mère, qui deviendra la marraine de sa fille, puis se lie d'amitié avec la jeune voisine de celle-ci, Marie-Thérèse de La Ferté-Imbault. C'est dans ce cercle que la jeune fille va apprendre l'art de la conversation et les valeurs de l'esprit.