I 1483 valgte Rikard III slottet som sin nordlige base, og gjorde betydelige forandringer. Hans håp om å ta kontroll i området ble knust i slaget ved Bosworth Field i 1485, hvor kongen falt. Etter dette ble slottet nesten ikke brukt, og da Wakefield Prison ble bygget i 1590-årene trengte man det ikke engang til å oppbevare fanger lenger.