Ще під час спорудження будівля неодноразово пошкоджується. Наприклад, 1381 року, під час , частина будівлі була зруйнована. 4 вересня 1666 року, у вівторок, коли в Лондоні бушувала Велика пожежа, будівля згоріла дотла; в'язнів евакуювали в останній момент. Після цього , тодішній начальник тюрми, найняв будинок у Ламбеті для тимчасового розміщення ув'язнених, а саму будівлю Флітської в'язниці було відновлено на попередньому місці.