Buena parte de la fortaleza fue derribada durante las Revueltas Irmandiñas, siendo reconstruida por don Rodrigo Enríquez Osorio, conde de Lemos, a costa de aumentar considerablemente los impuestos a los vecinos, situación que motivó pleitos entre el concello y el conde en la Audiencia de Valladolid, que fueron por fin resueltos en 1534 por el rey Carlos I a favor de los vecinos.