Posteriormente, en el contexto de la Guerra de Sucesión Castellana entre los partidarios de Juana la Beltraneja y los de los Reyes Católicos, uno de los descendientes, don Juan de Tovar, a la sazón involucrado en la defensa de los intereses de doña Juana, fue desposeído del señorío de la villa.