Les files dels barons van continuar reduint-se al , produint una elit petita de senyors rics, però reduint de la riquesa comparativa de la majoria i molts castells senyorials van caure en un declivi similar. Els estats de comptes del de John Leland sobre els castells anglesos estan replets de descripcions de castells com "«sore decayed»" (deteriorats), les seves defenses "«in ruine»"(en runes) o on les parets encara podrien estar en bon estat, que estaven "«decayed»" (deteriorant-se). Els castells anglesos no van exercir un paper decisiu durant la Guerra de les Roses, lliurades entre 1455 i 1485, que foren principalment batalles campals entre les faccions rivals de les cases de Lancaster i els partidaris de la de York.