Hacia 1805 este edificio del siglo XVIII fue ampliado y reformado en estilo neoclásico por Antonio López Aguado, por encargo de María Manuela Pignatelli y Gonzaga, viuda del XI duque de Villahermosa, Juan Pablo de Aragón-Azlor.