La historia de este castillo se vincula desde entonces a la noble familia de los Moscoso de Altamira, emparentados con la familia de los Traba, familia la de los Moscoso que constituirán el Condado de Altamira en la persona de Lope Sánchez de Moscoso, primer conde de Altamira.