Η Αν Λίστερ ήταν το δεύτερο παιδί και η μεγαλύτερη κόρη του Jeremy Lister (1753-1836), ο οποίος στα νιάτα του το 1775 υπηρέτησε με το βρετανικό 10ο σύνταγμα πεζικού στις μάχες του Λέξινγκτον και του Κόνκορντ στον αμερικανικό πόλεμο της ανεξαρτησίας. Τον Αύγουστο του 1788 παντρεύτηκε τη Ρεμπέκα Μπατλ (1770-1817), το πρώτο τους παιδί, ο Ιωάννης, γεννήθηκε το 1789, αλλά πέθανε το ίδιο έτος. Η Άννα Λίστερ γεννήθηκε στο Χάλιφαξ στις 3 Απριλίου του 1791. Το 1793, η οικογένεια μετακόμισε σε ένα κτήμα που ονομάζεται Skelfler House, στο Market Weighton, μια μικρή πόλη του ανατολικού Γιόρκσαϊρ. Στο Skelfler ήταν όπου η νεαρή Αν πέρασε τα πρώτα της χρόνια. Ένας δεύτερος γιος, ο Σαμουήλ, ο οποίος ήταν πολύ δεμένος με την Αν, γεννήθηκε το 1793. Οι Λίστερ απέκτησαν συνολικά τέσσερις γιους και δύο κόρες, αλλά μόνο η Αν και η μικρότερη αδερφή της, Μάριαν, ξεπέρασαν το 20ό έτος.