I 1825 ble Clifford's Tower og det store huset til festningens nordøstlige område kjøpt og nye fengselsbygninger ble bygget, inkludert murer, port og en ekstra fengselsblokk. Hele festningen tjente som fengsle i årene 1835 til 1925. I 1935 ble alle de nye bygninger revet ned.