A pesar de ello, el título aparece fuertemente ligado a la casa de Castro, siendo Pedro Fernández de Castro, sin ostentar todavía el título de conde, el primer señor jurisdiccional de Lemos; título que si ostentaría su hijo, Fernán Ruiz de Castro, «Toda la lealtad de España», figura histórica más sobresaliente de esta primera etapa, que finaliza al perder el favor real el V Conde de Lemos, siendo confiscados todos sus bienes y títulos.