Con el virrey Juan Alonso Pimentel de Herrera, conde de Benavente, las obras se ralentizaron, probablemente a causa de la escasa disponibilidad de recursos tras las guerras y crisis que golpeaban España o, incluso, por una cuestión de honor: los Pimentel mostraron escaso interés por completar una obra empezada por los Ruiz de Castro.