Se sabe que durante el siglo XVII los duques e Osuna albergaron a los reyes en tránsito en una vivienda que todavía se conserva en la calle Real, a la altura de la plaza denominada precisamente "el Palacio".