Posteriormente pasó a manos de la familia Herrera y a finales del siglo XV pasó a los condestables de Castilla por el matrimonio entre Doña Blanca Herrera y Don Bernardino Fernández de Velasco.