Anne Lister was het tweede kind en de oudste dochter van Jeremy Lister (1753-1836), die als jongeman tijdens de Amerikaanse Onafhankelijkheidsoorlog diende in het Britse 10e Regiment of Foot (infanterie) en in 1775 de Veldslagen van Lexington en Concord meemaakte. In augustus 1788 trouwde hij met Rebecca Battle (1770-1817) uit Welton in de East Riding of Yorkshire. Hun eerste kind, John, werd geboren in 1789, maar stierf hetzelfde jaar. Anne Lister werd op 3 april 1791 in Halifax geboren. Twee jaar later verhuisde het gezin naar een landgoed met de naam Skelfler House in Market Weighton, waar Anne haar jeugd doorbracht. In 1793 werd daar een tweede zoon geboren, Samuel, die een goede vriend van Anne zou worden. De Listers kregen vier zonen en twee dochters, alleen Anne en haar jongere zus Marian werden ouder dan twintig jaar.