Anne hadde to søsken. Som med henne selv er fødselsdatoene deres usikre, men det synes klart at hennes søster Mary Boleyn var eldre. Marys barn skal ha vært overbevist om at deres mor var den eldste søsteren, og det samme var Annes datter Elizabeth. Deres bror George Boleyn, vicomte av Rochford kan ha vært den eldste, avhengig av når man mener at Anne ble født, ettersom George helt klart kom til verden en gang rundt 1504.