A la muerte Neville, derrotado en la batalla de Barnet en 1471, el castillo y las tierras fueron concedidas por Eduardo IV a su propio hermano, Jorge, duque de Clarence.