Su padre, Johann Josef Kauffmann, era pobre y un pintor bastante mediocre, pero aparentemente muy bueno enseñando a su precoz hija.