Durante estos años fue usado ocasionalmente como prisión como lo atestiguan los informes secretos del Marqués de Villel a Martín de Garay en 1809 en los que hay referencias a varios presos políticos en él recluidos.