I 1873 ble det bygd et bjelletårn av en nordfransk stilart, tegnet av Eugène Viollet-le-Duc, på toppen av bygningens tårn. Samme år ble andre bygninger fra middelalderen jevnet med jorden. Det var for øvrig i det opprinnelige fangetårnet at Jean Calas ble avhørt i 1761/62, i forbindelse med at han som protestant ble offer for en religiøst motivert rettssak.