Durante el siglo XVIII, Fernando de Silva y Álvarez de Toledo, conocido como el Duque Viejo, mandó construir un soberbio palacio de estilo neoclásico francés, conocido como el Palacio de los duques de Alba.