På et tidspunkt etter 1505 flyttet Boleynfamilien inn. Anne Boleyn og hennes søsken Mary og George tilbrakte deler av sin oppvekst der, mens Annes far Thomas Boleyn, 1. jarl av Wiltshire ble født og gravlagt der.