Permaneció en manos de su familia hasta finales del siglo XV, cuando recayó en los Fernández de Velasco, condestables de Castilla, pasando posteriormente por herencia a los condes de Benavente.