El edificio original, que al parecer era de ladrillo y de fábrica modesta, resultó muy dañado en el Terremoto de Lisboa (1755) y en su lugar edificado el actual (llamado Palacio de Anaya) más acorde con la alcurnia de los ocupantes de la época, que es uno de los pocos que hay en Salamanca en estilo neoclásico.