La torre del homenaje y la muralla fueron derruidas durante la Revuelta Irmandiña, que enfrentó al pueblo con la nobleza; los responsables, una vez sofocada la rebelión fueron forzados a reconstruir lo derruido.