En el 1467 las llamadas revueltas irmandiñas, compuestas por campesinos que se alzaron contra el poder feudal, atacaron el castillo y lo derribaron.