El nuevo duque de Alburquerque se desvinculó totalmente de Cuéllar, una tierra que había heredado de sus antepasados pero con la que no guardaba ninguna relación sentimental ni histórica, pues heredó la Casa por línea femenina, comenzando así el mayor deterioro de las murallas, y ocasionando el golpe más decisivo contra el recinto.