Fue reformado y completado con otras obras en el siglo XVI, en tiempos del comunero Ramiro Núñez de Guzmán y su brava esposa María de Quiñones.