El edificio original sufrió daños de consideración en el ataque que realizaron las tropas comuneras en el año 1520.