En el siglo XV el castillo pasó a manos de los condes de Benavente y posteriormente a los condes de Maceda quienes fueron descuidando el castillo y pasó a una etapa de decadencia motivada por la ausencia de descendencia masculina.