Elle est détruite par le feu au troisième jour du Grand incendie de Londres de 1666, au cours duquel les prisonniers réussissent à s'enfuir au dernier moment. Le directeur de la prison, Sir Jeremy Whichcote, premier baronnet Whichcote (1614-1677), achète alors la maison de Caron House à Lambeth pour héberger les débiteurs incarcérés en attendant que la prison soit reconstruite, à ses propres frais, sur son site d'origine.