I 1536 ble Anne og George Boleyn henrettet, og da faren døde i 1539 tilfalt slottet kronen. Kong Henrik VIII gav det til Anna av Kleve da han ble skilt fra henne i 1540, men det ser ikke ut til at hun tilbrakte mye tid der.