Durante el reinado de Felipe IV, en el siglo XVII, fue confinado en la torre Francisco María Carrafa, duque de Nochera, que murió en la misma en el año 1642.