Será en manos de esta línea familiar en manos de quien permanecerá el señorío durante todo el Siglo de Oro, hasta la llegada en la segunda mitad del siglo XVII de los Chaves-Mendoza y los Pizarro-Carvajal.