Det meste av bygningen ble ødelagt i bybrannen i 1666, men gjenoppbygd kort tid etter. Fengselet ble stengt i 1855 og revet i 1863-64, så nær som porten fra 1802 mot New Bridge Street. På tomta står i dag Unilevers bygning fra 1931.