El castillo es heredado por Rodrigo Álvarez Osorio, que al fallecer en 1430, su posesión pasa a Pedro Álvarez Osorio, I conde de Lemos, del mismo nombre que su abuelo.