アンはジェレミー・リスター（）の長女として生まれた。父は1775年にアメリカ独立戦争時、レキシントン・コンコードの戦いで第10歩兵隊（）に従軍していた。1788年8月、イースト・ライディング（）のウェルトン（Welton）出身のレベッカ・バトル（Rebecca Battle、1770–1817）と結婚し、1789年の第一子ジョンをもうけるも、同年に死ぬ。アンは1791年4月に生まれた。1793年、一家はマーケット・ウェイトン（）のスケルフラー・ハウス（Skelfler House）と呼ばれる地所に移住し、アンはこのスケルフラーで幼年を過ごした。後にアンと親密になる次男のサミュエルは1793年に生まれる。リスター家には6人の子供がいたが、殆どが早世し、成人になったのはアンと妹のマリアンだけだった。