Su posición junto a la Puerta Quemada hizo que pasara a formar parte del perímetro defensivo ideado por Sangenís durante los asedios franceses de 1808-1809. Fue por ello lugar de combates, siendo seriamente dañado. Aunque fue reconstruido en 1814, la desamortización española de 1835 supuso el fin de su uso religioso y su nacionalización. Fue usado como prisión, siendo en 1900 formalmente redenominado "Penal de San José".