安妮·李斯特是（Jeremy Lister，1753-1836）的第二个孩子和长女，杰里米曾参加1775年美国独立战争中的列克星敦和康科德战役，当时服役于英国第10军团。1788年8月，他在约克郡的东马林与威尔顿的丽贝卡·巴特尔（Rebecca Battle，1770-1817）结婚。他们的第一个孩子约翰（John）出生于1789年，但于同年去世。安妮·李斯特于1791年4月3日出生在哈利法克斯。1793年，全家搬到了馬基特威頓的一个名为斯凯弗勒的庄园。安妮·李斯特的童年在斯凯弗勒度过。父母的第二个儿子塞缪尔（Samuel）是安妮的亲密朋友，出生于1793年。李斯特一家有四个儿子和两个女儿，但只有安妮和她的妹妹玛丽安（Marian）活到20岁以后。