Posteriormente, el castillo se convirtió en prisión de Estado y en él estuvieron detenidos distintos personajes, tales como Hernando Pizarro, Rodrigo Calderón, el duque Fernando de Calabria, César Borgia o el conde Aranda.