Durante el periodo de Beltrán II de la Cueva y Toledo, III duque, la huerta grande fue replantada de jardines de corte renacentista, proporcionando mayor belleza al conjunto, y que fueron deteriorándose a partir del siglo XVII, cuando los duques se instalaron con la corte en Madrid.