I henhold til George Cavendish ble Anne for en kort tid sendt fra hoffet og til familiens eiendommer på landet, men det er ikke kjent hvor lenge oppholdet varte. Da hun kom tilbake samlet hun en gruppe med kvinnelige venner og mannlige beundrere rundt seg, men ble også kjent for sin vilje til å holde menn på behørig avstand. Poeten Thomas Wyatt, som skrev om henne i diktet , beskrev henne som utilgjengelig og målbevisst til tross for at hun virket bluferdig og stille. I 1525 ble Henrik VIII forelsket i henne og begynte å gi henne oppmerksomhet.