Dicho palacio fue destruido por Fernando el Católico igual que otros muchos pertenecientes a aquellos nobles que apoyaron a Juana la Beltraneja en su guerra contra Isabel la Católica y que fueron más numerosos en el oeste español (en las regiones gallega, leonesa y extremeña), al suponer el proyecto juanista la unión con Portugal en lugar de con Aragón.