I det 16. århundre anså man at slottet ikke lenger var til nytte for kronen, og det ble gitt til den lokale godseieren sir Hugh Beeston. Forsvarsverkene ble neglisjert, og slottet begynte å forfalle.