Annes søster Mary hadde tidligere vært kongens elskerinne for en kortere tid mens hun var gift med William Carey, en herre i kongens råd. Det har gått rykter om det ene eller begge barna til Mary Boleyn hadde Henrik VIII som far. Noen historikere som Alison Weir har stilt spørsmål om Marys sønn Henry Carey faktisk hadde Henrik VIII som far. Det er antatt at kongens forhold til Mary ble avsluttet lenge før han ble involvert med hennes yngre søster Anne.