El periodo entre 1576-1621 coincide con la realización de las principales obras en la villa, en el cual ejerció como señor Juan Alonso Pimentel de Herrera (VIII conde y V duque), quien se distinguió por su interés por la cultura, principalmente el arte.