Анна была старшей дочерью Джереми Листера (1753—1836), который в молодости служил в 10-м британском пехотном полку и участвовал в сражениях при Лексингтоне и Конкорде во время Войны за независимость США. В августе 1788 года он женился на Ребекке Баттл (1770—1817) из Велтона в графстве Ист-Райдинг-оф-Йоркшир. Их первый ребёнок, Джон, родился в 1789 году, но в том же году умер. Через два года на свет появилась Анна Листер. В 1793 году семья переехала в поместье Скефлер Хаус в городке Маркет-Вейтон, где Анна и провела свои юные годы. Всего у Листеров было шесть детей, но только Анна и её младшая сестра Мэриан дожили до зрелого возраста.