Da Anne ble født, var Boleyn-familien ansett som en av de mest respektable familiene i det engelske aristokratiet, selv om de kun hadde hatt adelstittel i fire generasjoner. Senere ble de kritisert for å ha vært sosiale klatrere, men det var et politisk angrep på dem. Med ordene til en av hennes biografer: «Tradisjonen forteller oss også at familien Boleyn var en handelsfamilie fra London, men igjen leder tradisjonen oss på avveier: Anne Boleyn var født som en høyverdig aristokratisk dame.» Blant hennes forfedre var en borgermester av London, en hertug, to kvinner av aristokratiet og en jarl, og blant hennes slektninger på morssiden var den mektige familien Howard. Anne Boleyn var faktisk mer aristokratisk enn både Jane Seymour og Katarina Parr, to av Henrik VIIIs øvrige hustruer.