En 1797 Francisco de Goya se alojó en dicho palacio invitado por la XIII duquesa de Alba y su esposo el XV duque de Medina Sidonia, que eran sus mecenas, estancia en la cual realizó el "Álbum de Sanlúcar" y, al parecer, "La maja vestida" y "La maja desnuda".