Desde ese momento y hasta 1811 por la abolición de los señoríos, la villa permanecerá en manos de la Casa Ducal, y las obras iniciadas por Beltrán de la Cueva serán continuadas por el segundo, tercer y cuarto duque, convirtiendo la fortaleza militar en un palacio renacentista, donde tendrán su residencia hasta el siglo XVII, en que se trasladan junto a la Corte a Madrid, pasando a ser su residencia de verano y lugar de celebraciones familiares.