Es durante su dominio cuando se ejecutan la mayor parte de los trabajos de la actual fortaleza, entre 1477 y 1482 con el IV Conde de Benavente, Rodrigo Alonso Pimentel.